Дмитрий Андрияшкин, эксперт по интернет-рекламе и продвижению с 22-летним стажем, активно использует нейросети в своей работе уже третий год. Он преподает в Школе дизайна НИУ ВШЭ и делится своими знаниями в телеграм-канале https://t.me/kafkich.
Промпт-инжиниринг: ключевые выводы и стратегии
Статья под названием "Evaluating Factual Consistency of Summaries with Large Language Models" была написана Ши Ци Ченом, Сиян Гао и Джун Сян Хе в 2023 году. Основная идея статьи заключается в том, что нет универсальных хороших промптов, одинаково эффективных для всех задач. В ходе научного эксперимента авторы протестировали различные стратегии промптинга для проверки фактической согласованности текстов, используя языковые модели, такие как GPT-4 и Flan-T5. Результаты показали, что эффективность промптов сильно зависит от специфики задачи, а наиболее успешными оказались обычные промпты для задач без необходимости сложных рассуждений. Ссылку на описание использованных промптов и код можно найти на GitHub – hkust-nlp/llmeval_sum_factual. Каждый тип задачи требует индивидуального подхода к созданию промптов, а выбор подходящей стратегии влияет на точность и качество результата. Авторы исследовали проблему фактической согласованности текстов, предложив три разных подхода к созданию промптов: обычные промпты (vanilla prompting), цепочку рассуждений (chain-of-thought prompting) и поэтапную проверку предложений (sentence-by-sentence prompting). Каждый из этих подходов дал разные результаты в зависимости от типа задачи и используемой модели.
Наилучшие результаты в задаче проверки фактической согласованности текстов показали обычные промпты, особенно при использовании мощных языковых моделей, таких как GPT-4 и text-davinci-003. Цепочка рассуждений, обычно полезная для логических и математических задач, оказалась менее эффективной для этой конкретной задачи.
Ссылка на описание промптов, которые сработали: GitHub – hkust-nlp/llmeval_sum_factual.
Как выбрать промпты для нейросети: эффективные стратегии промпт-инжиниринга
Выбор стратегии промптинга зависит от сложности задачи, которую нужно решить. Сложность можно определить по следующим критериям:
- Простые задачи:Эти задачи требуют коротких, прямых ответов без необходимости рассуждений. Примеры: создание слоганов, генерация кратких описаний продуктов, определение тональности отзывов.
Рекомендуемый подход: обычные промпты (vanilla prompting).
Преимущество: для таких задач не нужны сложные или дорогие модели. Можно использовать более простые и бесплатные нейросети, такие как Flan-T5 или open-source модели с доступными вычислительными требованиями. - Средней сложности задачи:В таких задачах требуется анализ нескольких факторов или данных, но без необходимости детального пошагового объяснения. Примеры: выбор рекламных каналов, определение ключевых сегментов аудитории.
Рекомендуемый подход: обычные промпты или sentence-by-sentence prompting, если текст длинный.
Преимущество: подход позволяет эффективно обрабатывать текстовые данные и давать быстрые ответы. - Сложные задачи:Эти задачи требуют детального анализа, последовательных рассуждений и промежуточных выводов. Примеры: разработка маркетинговой стратегии, прогнозирование продаж на основе исторических данных.
Рекомендуемый подход: цепочка рассуждений (chain-of-thought prompting).
Преимущество: помогает модели структурировать ответ и обосновывать каждый вывод.
Практические рекомендации по промпт-инжинирингу
Статья демонстрирует, что для простых задач могут подойти несложные бесплатные нейронные сети, такие как недавно появившиеся французская Mistral и китайский Deepseek, Yandex GPT, Gigachat. Использование самых современных моделей, вроде O1 не всегда оправдано, особенно если задача не требует сложных рассуждений. Это может существенно снизить затраты на вычисления и ускорить выполнение задач.
Для выбора оптимальной стратегии промптов и моделей важно тестировать различные подходы на платформе LM Arena, которая позволяет сравнивать производительность и качество разных языковых моделей в одинаковых условиях. Такой подход помогает определить, какие модели и промпты наиболее эффективны для конкретной задачи, избегая ненужных затрат на ресурсы и время.