Пользователи иногда просят искусственный интеллект представить себя экспертом в какой-либо области. Однако исследователи пришли к выводу, что этот подход не всегда помогает.
Во многих рекомендациях для работы с искусственным интеллектом можно встретить совет начинать промпт с фразы «представь, что ты опытный разработчик» или «представь, что ты опытный программист». Однако ученые Университета Южной Калифорнии (США) пришли к выводу, что такой метод не всегда помогает. Препринт статьи опубликован на arXiv.
По мнению исследователей, эффективность этого метода зависит от типа задачи. Ролевые подсказки помогают, например, при работе с текстом или в запросах, связанных с безопасностью. Однако такой подход приводит к ухудшению результатов, зависящих от предобучения, например в области математики и программирования.
Возможно, модель искусственного интеллекта начинает имитировать стиль эксперта, забывая извлекать факты из обучающей выборки. Тесты исследователей показали, что точность базовой модели составила 71,6%, а «экспертной» — 68%. Соавтор исследования Ху Цзычжао порекомендовал вместо этого описывать точные требования к архитектуре проекта.
Чтобы исправить ситуацию, исследователи предложили метод, который они назвали PRISM (Маршрутизация личности посредством самомоделирования на основе намерений). Система анализирует запрос, а потом определяет, нужно ли использовать «персону».