Ученые из НИУ ВШЭ выяснили, что современные ИИ-модели, включая ChatGPT и Claude, в играх на стратегическое мышление вроде «конкурса красоты» Кейнса переоценивают уровень рациональности своих оппонентов, будь то студенты-первокурсники или опытные ученые. Модели стараются предсказать поведение людей, но в итоге играют «слишком умно» и проигрывают, потому что приписывают людям больше логики, чем те демонстрируют на деле.
В 1930-х годах британский экономист Джон Кейнс разработал теоретическую модель «конкурса красоты». Классический пример выглядит так: читателям газеты предлагают выбрать 6 самых привлекательных лиц из 100 фотографий. Награду получит тот, кто сможет угадать самые популярные фото. Обычные люди будут выбирать те фотографии, которые показались привлекательными именно им. Но они проиграют, так как перед игроками стоит другая задача: выяснить, кого считает привлекательным большая часть опрошенных. Поэтому рациональный агент должен отталкиваться от представлений о красоте, которые имеют другие люди. Такие эксперименты проверяют способность участника к рассуждению «в несколько шагов»: как думают другие, насколько они рациональны и насколько глубоко они будут рассуждать.
Заведующий Научно-учебной лабораторией исследований спорта факультета экономических наук Дмитрий Дагаев с коллегами из пермского кампуса НИУ ВШЭ Софией Паклиной и Петром Паршаковым и сотрудница Университета Лозанны Юлия Алексеенко решили выяснить, как поведут себя в ходе подобного эксперимента пять самых популярных ИИ-моделей, в том числе ChatGPT-4o и Claude-Sonnet-4. Исследование опубликовано в Journal of Economic Behavior & Organization. Чат-ботам предложили сыграть в «угадай число» — одну из наиболее популярных вариаций конкурса Кейнса.
По правилам все участники называют число от нуля до ста. Победит тот, кто назовет самое близкое число к половине (или 2/3, в зависимости от спецификации эксперимента) среднего от всех ответов участников. В таком соревновании более опытные игроки будут пытаться предсказать поведение всех участников, чтобы получить наилучший ответ. Чтобы выяснить, как в игре поведет себя ИИ, авторы воспроизвели результаты 16 классических экспериментов «угадай число», которые проводили с живыми людьми другие ученые. LLM-моделям отправляли промпт с правилами игры и описание оппонентов для каждого раунда: первокурсники-экономисты, участники научных конференций, люди с аналитическим или интуитивным мышлением и те, кто испытывает злость или грусть. Далее модель просили предъявить число и объяснить свой выбор.
Оказалось, что искусственный интеллект меняет свой выбор в зависимости от социальных, профессиональных и возрастных характеристик оппонентов, их знания теории игр и когнитивных навыков. Например, в игре с участниками конференций по теории игр искусственный интеллект выбирал число, близкое к нулю: именно такие ответы чаще выигрывают в таком окружении. А в партиях с первокурсниками модели «понимали», что участники будут менее продвинуты, и выбирали заметно большее число.
Авторы выяснили, что языковые модели эффективно адаптируются к противникам разного уровня. Кроме того, ответы больших языковых моделей демонстрируют элементы стратегического мышления. Вместе с тем модели оказались неспособны выбрать доминирующую стратегию в игре с двумя участниками.
«Конкурс красоты» Кейнса долгое время использовался для объяснения колебаний цен на финансовых рынках: брокерам важно не то, что думают они сами, а то, как оценивают бумаги другие участники рынка. Здесь действует тот же принцип: успех зависит от умения предсказать чужие предпочтения.
«Мы сейчас находимся в точке, когда во многих операциях ИИ-модели начинают заменять людей, и это позволяет повышать экономическую эффективность бизнес-процессов. Однако в задачах, которые связаны с принятием решений, часто необходимо быть уверенными в том, что модель искусственного интеллекта ведет себя похожим на человека образом. Поэтому появляется все больше контекстов, в которых поведение моделей сравнивается с человеческим поведением. Эта область исследований в ближайшее время будет активно развиваться», — подчеркнул Дмитрий Дагаев.