Найти в Дзене

Почему ChatGPT выдаёт «воду» и как это починить

Сколько раз вы уже слышали, что надо давать контекст, от него зависит всё? И вы даёте. Формат указываете. Иногда даже про роль не забываете. В общем, всё как учили. Но в ответ прилетает: Важно учитывать множество факторов. С одной стороны... с другой стороны... В целом, рекомендуется подходить комплексно. Ну да, спасибо. Начальству такое не покажешь, в работу не возьмёшь. Можно разве что в рамочку и на стену. Причина обычно не в количестве контекста. В этом посте разберём один приём, который резко режет воду, плюс три готовых шаблона и примеры, которые можно сразу забрать в работу. !!! Больше кейсов на канале “AI для продакта” Когда вы пишете «проанализируй и дай рекомендации», модель понимает тему. Но у неё нет критериев, по которым вы будете оценивать ответ. Сколько рекомендаций нужно? Три? Десять? Может, пятьдесят? Какой глубины? Нужна стратегия на год вперёд или конкретные правки, которые можно внедрить до обеда? По каким параметрам оценивать варианты? Может, скорость важнее всего?
Оглавление

Сколько раз вы уже слышали, что надо давать контекст, от него зависит всё? И вы даёте. Формат указываете. Иногда даже про роль не забываете. В общем, всё как учили.

Но в ответ прилетает:

Важно учитывать множество факторов. С одной стороны... с другой стороны... В целом, рекомендуется подходить комплексно.

Ну да, спасибо. Начальству такое не покажешь, в работу не возьмёшь. Можно разве что в рамочку и на стену.

Причина обычно не в количестве контекста. В этом посте разберём один приём, который резко режет воду, плюс три готовых шаблона и примеры, которые можно сразу забрать в работу.

!!! Больше кейсов на канале “AI для продакта”

Откуда вообще берётся эта «вода»

Когда вы пишете «проанализируй и дай рекомендации», модель понимает тему. Но у неё нет критериев, по которым вы будете оценивать ответ.

Сколько рекомендаций нужно? Три? Десять? Может, пятьдесят? Какой глубины? Нужна стратегия на год вперёд или конкретные правки, которые можно внедрить до обеда? По каким параметрам оценивать варианты? Может, скорость важнее всего? Или бюджет? Эффект? Простота внедрения?

Ничего этого в запросе нет. И модель выдаёт что-то максимально безопасное. Формально ответила, при этом не накосячила. Отсюда все эти «комплексные подходы» и «множество факторов».

Главный рычаг: Definition of Done

В разработке есть понятие Definition of Done, критерий готовности. Отвечает на вопрос «как понять, что задача сделана хорошо».

В промптинге работает так же. Только большинство об этом не думает.

DoD это не «сделай красиво». Это конкретные требования к ответу, после которых вы сможете принять решение. Не просто прочитать и покивать, а реально что-то сделать.

Без DoD:

Предложи 5 идей для улучшения онбординга.

Модель предложит что-нибудь вроде «добавьте приветственное письмо» и «улучшите пользовательский опыт». Технически это ответ. Практически бесполезно.

С DoD:

Предложи 5 идей для улучшения онбординга. Для каждой укажи, что именно меняем, какой ожидаешь эффект на конверсию, и сложность внедрения от 1 до 5. В конце выбери две лучших и объясни, почему именно с них стоит начать.

Тут уже не отделаешься общими словами. Для каждой идеи нужно заполнить конкретные поля. «Улучшите пользовательский опыт» туда просто не влезает.

-2

Быстрый тест: если вы не можете оценить ответ по шкале «годится / не годится» за 10 секунд, значит DoD нет. Будет вода.

Как придумать DoD, если ничего не приходит в голову

Спросите себя: какое решение я хочу принять после того, как получу ответ?

Хотите понять, какую фичу делать первой? Значит нужна оценка по приоритету. Хотите понять, почему падает метрика? Значит нужны гипотезы с описанием, как их проверить. Хотите улучшить текст? Значит нужны конкретные правки, а не замечания в духе «поработайте над стилем».

Решение, которое вы собираетесь принять, подсказывает структуру ответа.

-3

Три универсальных DoD

1) Impact / Effort / Risk
Когда выбираете из нескольких вариантов.
→ «Дай 7 вариантов, оцени каждый по I/E/R от 1 до 5, выбери топ-2 и объясни почему.»

2) Тезис + опора + действие
Когда работаете с данными, текстом, логами.
→ «Каждый вывод: тезис, на чём основан (цитата или факт), что делать дальше.»

3) Первый шаг за 15 минут
Когда нужно приземлить стратегический совет.
→ «Каждая рекомендация заканчивается действием, которое можно сделать сегодня.»

Примеры

Фидбек по тексту лендинга

Плохо:

Посмотри мой текст и скажи, что не так

Получите пять абзацев про то, что «текст хороший, но можно улучшить структуру и поработать над призывом к действию». Спасибо, кэп. Что конкретно улучшить? Как поработать? Тишина.

Хорошо:

Вот текст лендинга: [текст]. Цель у него одна: конверсия в заявку. Аудитория это владельцы малого бизнеса. Найди 5 слабых мест. По каждому процитируй проблемный фрагмент, объясни, в чём там проблема, и дай конкретную переформулировку. Формат: таблица с тремя колонками.

Теперь модели некуда деться. Нужно найти конкретный фрагмент, объяснить проблему, предложить новый вариант. Общие слова в такую структуру не помещаются.

Анализ конкурентов

Плохо

Сравни наш продукт с конкурентами и скажи, что улучшить

Хорошо:

Вот наш продукт: [текст]. Вот три конкурента: [описания]. Сравни по критериям: цена, функционал, UX, поддержка, интеграции. Для каждого: кто сильнее, почему, что нам сделать. Формат: таблица.

Гипотезы падения retention

Плохо:

Почему у нас падает удержаине?

Хорошо:

Удержание на седьмой день упало с 25% до 18% за месяц. Продукт: таск-менеджер для фрилансеров. Недавно сделали редизайн главного экрана и убрали бесплатный тариф. Дай 5 гипотез, для каждой: формулировка, как проверить, какие данные нужны.

Универсальный скелет

Можете сохранить как шпаргалку:

Задача: [что нужно сделать]
Цель: [какое решение приму после ответа]
Данные: [факты, контекст, ограничения]
Критерий готовности: [по чему пойму, что ответ хороший]
Формат: [список, таблица, что-то ещё]

Если нужно сократить, сокращайте что угодно, только не критерий готовности.

Почему «без воды» не работает

Многие добавляют в конец промпта «без воды, только конкретика». И ждут, что это поможет.

Не поможет.

«Без воды» это как сказать «сделай хорошо». Вам-то понятно, что вы имеете в виду. А для модели «важно учитывать множество факторов» вполне конкретная мысль. Факторы есть? Есть. Учитывать их важно? Важно. Где тут вода?

DoD работает по-другому. Вы не просите избегать воды. Вы задаёте рамку, в которую вода физически не помещается.

Итак,

  • вода появляется не потому, что модель глупая. И не потому, что контекста мало.
  • Вода появляется, когда нет критерия качества. Когда непонятно, какой ответ считать хорошим.
  • Добавьте Definition of Done и разница будет сразу. Возьмите ближайшую задачу и допишите к промпту одну строку с критерием готовности. Если хотите, скидывайте в комменты ваш промпт «до», покажу, как добавить DoD.

!!! Больше кейсов на канале “AI для продакта”