Исследователи из USC проверили популярный совет добавлять в промпт фразу «отвечай, как будто ты эксперт в X» — и выяснили, что для программирования и математики это вредит результату. В бенчмарке MMLU бот с указанием роли набрал 68% против 71.6% без неё. Объясняют это тем, что программирование — задача, зависящая от предварительного обучения. Роль не даёт модели новых знаний и мешает извлекать факты из данных, полученных при обучении. С написанием текстов другая ситуация — там роль может улучшить качество ответа. Сам я перестал пользоваться всеми этими фокусами еще в gpt4o. В размышляющих моделях они по идее стали бессмысленны окончательно. Удивительно, что есть какое-то влияние. https://www.theregister.com/2026/03/24/ai_models_persona_prompting/
Промпт «ответь, как эксперт» заставляет LLM отвечать хуже
25 марта25 мар
~1 мин