Просьба к искусственному интеллекту выступить в роли «эксперта» может неожиданно ухудшить качество ответов. К такому выводу пришли исследователи, изучившие поведение нейросетей при разных типах запросов.
Оказалось, что популярный приём с ролевыми подсказками работает далеко не всегда и иногда даже снижает точность. Исследователи из Университета Южной Калифорнии обнаружили, что назначение роли даёт смешанные результаты.
В задачах, требующих точных знаний, например, в математике и программировании, эффективность снижалась. Базовая модель показала точность 71,6%, тогда как версия с ролью «эксперта» — лишь 68%.
Авторы исследования объясняют это тем, что ИИ переключается на следование инструкции и меньше опирается на факты из своей базы знаний. При этом для задач, связанных с безопасностью и стилем текста, ролевые подсказки, наоборот, оказались полезными.
Например, роль «монитора безопасности» повысила отказ от вредных запросов почти на 18%. Соавтор исследования Цзычжао Ху отметил, что общие формулировки вроде «ты опытный разработчик» малоэффективны.