Подробное руководство по настройкам генеративной модели в PocketPal AI

Для новичков, впервые работающих с нейросетевыми моделями, важно понимать, как параметры влияют на результат.
Ниже — детальное описание настроек, примеры оптимизации под разные задачи и советы по избежанию ошибок.

1. Настройки начала и конца предложения (BOS/EOS)

• BOS (Beginning of Sentence):
  Добавляет токен <s> в начало текста, сигнализируя модели о старте предложения.
  Когда использовать:
  Генерация структурированных текстов (новости, технические документы).
  Пример: Включите BOS для поста в блоге, чтобы каждое предложение начиналось четко.
• EOS (End of Sentence):
  Добавляет токен </s> в конец, обозначая завершение фразы.
  Когда использовать:
  Для точной пунктуации или разделения абзацев.
  Пример: В официальных письмах, чтобы избежать "бесконечных" предложений.

2. Контекст и шаблоны

• Add Generation Prompt:
  Системный промпт задает роль модели. Чем конкретнее инструкция, тем точнее результат.
  Пример:

"Ты — финансовый аналитик. Объясни сложные термины простым языком."

Для чат-бота:

"Ты дружелюбный помощник Оуэн. Отвечай кратко и по делу."

• Template:
  Шаблоны форматируют вывод модели. Используйте условия и теги для структуры.
  Пример шаблона для диалога:

{% if user_input %}<|im_start|>Пользователь: {{ user_input }}<|im_end|>
<|im_start|>Ассистент:

3. Управление длиной и креативностью

• N PREDICT (Длина ответа в токенах):
  1 токен ≈ 1 слово на русском (примерно).
  Рекомендации:
  Короткие ответы (чаты): 50-100 токенов.
  Статьи: 300-500 токенов.
  Осторожно! Слишком большое значение (например, 1000) может привести к бессвязности.
• Temperature (Уровень случайности):
  Низкая (0.2): Факты, технические тексты.
  Средняя (0.5-0.7): Баланс между креативностью и логикой (эссе, диалоги).
  Высокая (0.9-1.2): Поэзия, генерация идей.

4. Фильтрация токенов

• Top K: Ограничивает выбор слов до K самых вероятных.
  Примеры:
  Top K=10: Для точных ответов ("Столица Франции?" → "Париж").
  Top K=100: Для творческих заданий ("Опиши планету будущего").
• Top P (Nucleus sampling): Выбирает слова из группы с суммарной вероятностью P.
  Связка с Temperature:
  Temp=0.7 + Top P=0.9 → Умеренно креативные ответы.
  Temp=1.0 + Top P=0.95 → Максимальное разнообразие.
• Min P: Отсекает токены с вероятностью ниже значения.
  Совет: Min P=0.05 убирает явный "шум", но сохраняет гибкость.

5. Контроль повторений

Группа параметров, предотвращающих зацикливание и однообразие:

• Penalty Last N: Проверяет N последних токенов.
  Для длинных текстов: 64-128.
• Penalty Repeat: Штраф за повтор слов.
  Значение 1.2 → Сильное подавление, 0.8 → Слабое.
• Penalty Freq: Штраф за частые слова.
  Пример: 0.5 → Снижает употребление слов вроде "очень" или "значит".
• Penalty Present: Избегает повторения тем.
  Полезно для генерации глав книги (установите 0.6).

6. Продвинутые настройки

• Mirostat: Автоматически балансирует креативность.
  Mirostat=1 → Для диалогов.
  Mirostat=2 → Для длинных текстов.
  Совет: Если используете Mirostat, установите Temperature=1.0 и Top P=0.95 для лучшего эффекта.
• Seed: Фиксирует случайность.
  Пример: Seed=42 → Воспроизводимые результаты для тестирования.
• XTC Threshold и Probability:
  XTC Threshold=0.1 → Удаляет маловероятные токены.
  XTC Probability=0.05 → Редко удаляет случайные токены для "естественности".

Примеры конфигураций под задачи

• Техническая документация:

Temperature=0.3, Top K=20, Top P=0.8, Penalty Repeat=1.5, N PREDICT=300.

• Генерация историй:

Temperature=0.9, Top P=0.95, Min P=0.02, Penalty Present=0.3, Mirostat=2.

• Чат-поддержка:

CopyTemperature=0.5, Top K=30, Penalty Repeat=1.2, EOS=включен, N PREDICT=150.

10 примеров оптимизированных конфигураций для разных задач- Статья с примерами

Советы для новичков

• Начинайте с шаблонов: Используйте предустановки, затем настраивайте параметры по одному.
• Тестируйте на коротких промптах: Например, "Напиши вступление для статьи о ИИ" с разными Temperature.
• Избегайте крайностей: Слишком высокие/низкие значения могут сломать логику ответа.

Если сомневаетесь — оставьте параметры по умолчанию и меняйте их постепенно, наблюдая за результатом!

Связанные ссылки:

Как установить нейросеть на телефон Android или iOS? PocketPal AI

10 примеров оптимизированных конфигураций для разных задач для PocketPal AI