Исследователи из университета Мичигана выяснили, что назначение ролей при общении с большими языковыми моделями (LLM) увеличивает качество ответов на 20%.
Для этого они провели эксперименты со 162 ролями: 50 из них были межличностными (например: мать, друг, брат, знакомый, одноклассник), а 112 — профессиональными. Роли задавались ИИ тремя способами:
🟣 Роль назначалась самой модели — например, «Вы врач…»
🟣 Роль назначалась аудитории — «Вы разговариваете с пациентами…»
🟣 Запрос определял роли и спрашивающего, и отвечающего — «Вы со своим пациентом…»
Эксперименты проводились с тремя разными моделями. Эффективность и качество их ответов проверяли с помощью 2457 вопросов из популярного датасета MMLU (Massive Multitask Language Understanding).
Выводы учёных оказались крайне разнообразными. Например, ответы на запросы с межличностными ролями оказались в целом более качественными по сравнению с ответами на профессиональные запросы. При этом для межличностных ролей все три протестированные модели давали ответы одинакового качества, а вот для профессиональных ролей качество ответов отличалось от модели к модели.
Среди межличностных ролей наименее эффективными для всех моделей оказались романтические и семейные. При этом учёные выяснили, что лучше всего работают гендерно нейтральные формулировки запросов, то есть не «девушка» или «парень», а «партнёр» (конечно, здесь надо учитывать, что исследование проводилось на английском языке).
В работе учёных есть ещё масса интересных подробностей. А для практического применения на основании этого исследования мы выделили семь советов:
- Старайтесь задавать роли при использовании ИИ — это в целом повышает качество ответов.
- Гендерно нейтральные роли работают лучше, чем мужские и женские.
- Старайтесь избегать романтических и семейных ролей, например «скажи мне, брат…».
- Лучший способ формулирования запросов для ИИ — это обозначение аудитории. Например, «Вы разговариваете с программистами».
- Не используйте слово «Представьте» в запросах — это значительно снижает эффективность.
- Если вы используете LLM для работы и оперируете профессиональными ролями, стоит потратить время на то, чтобы подобрать наиболее эффективную модель в вашей сфере.
- Попробуйте спросить ИИ, в какой роли будет лучше всего задать ваш вопрос, и последуйте его совету.