Команда исследователей из НИУ ВШЭ совместно с коллегами из Швейцарии обнаружила любопытный эффект: современные ИИ-модели склонны думать, что люди принимают решения куда логичнее, чем это происходит в реальности.
В некоторых сценариях алгоритмы переоценивают уровень стратегического мышления у своих «оппонентов» — и ошибаются так же системно, как когда-то ошибались люди при анализе рынков.
Экономическая игра Кейнса как тест на понимание человеческой логики
Основой работы стала знаменитая кейнсианская модель «конкурса красоты». В ней участникам предлагают выбрать шесть самых привлекательных портретов. На первый взгляд, задача проста: выбирай тех, кто нравится лично тебе. Но по мнению Кейнса, рациональная стратегия иная — нужно угадать не свои предпочтения, а среднее мнение большинства.
Вдохновившись этим подходом, учёные решили проверить, как в подобных задачах поведут себя не люди, а ИИ.
Испытание для моделей: 16 классических экспериментов «угадай число»
Исследователи взяли 16 реальных психологических и экономических экспериментов, которые десятилетиями проводились с живыми людьми. В каждом участники должны были угадать число, исходя из ограничений и особенностей группы соперников.
ИИ-моделям выдали:
- правила игры;
- описание типа оппонента: первокурсник-экономист, участник научной конференции, человек с аналитическим или интуитивным мышлением, человек в стрессе или расслабленном состоянии.
После каждого раунда модели должны были назвать число и объяснить свой выбор.
Что выяснилось: ИИ адаптируется, но… ошибается в людях
Модели действительно меняли стратегию в зависимости от описанного типа оппонента. Они пытались «думать за соперника» и играть адаптивно — что само по себе впечатляет.
Но общий вывод оказался куда более интересным: ИИ приписывает людям более высокий уровень рациональности и логического рассуждения, чем есть на практике
Грубо говоря, модели уверены, что люди просчитывают стратегии на два–три шага вперёд, а люди в реальных экспериментах… этого не делали. В результате ИИ выбирал числа, оптимальные против гипотетически рационального противника, но не против реального.
ИИ всё чаще заменяет человека в задачах, связанных с расчётами, автоматизацией и аналитикой
Но если речь идёт о моделировании человеческого поведения — от экономики до городской навигации и переговоров — важно, чтобы алгоритмы понимали нашу иррациональность, а не идеализировали её.
Мы не всегда ведём себя предсказуемо, логично или стратегически. ИИ это пока недооценивает.
В ближайшие годы, по мнению исследователей, появится целое направление, которое будет сравнивать поведение моделей и людей в разных контекстах. И чем глубже мы поймём эти различия, тем безопаснее и эффективнее станут ИИ-системы, принимающие решения рядом с нами.