В рамках проведения нового исследования специалисты из Гарварда, MIT, Чикагского университета Бут и Корнелльского университета попытались изучить навигационные способности современных моделей искусственного интеллекта. На первом этапе большая языковая модель, тестирование которой происходило на улицах Нью-Йорка, демонстрировала очень хорошие результаты в процессе составления наиболее оптимальных маршрутов для движения транспорта.
Но после того как исследователи начали вносить минимальные изменения в дорожную ситуацию, например, «закрыли» некоторые улицы и добавили объезды, точность навигации искусственного интеллекта стремительно ухудшилась. В частности, специалистам очень не понравилась карта города, созданная искусственным интеллектом, так как в ней нашли заметные искажения. Нейросеть зачем-то дополнительно дорисовала несуществующие улицы, которые якобы соединяли расположенные в отдалении друг от друга перекрёстки.
Ашеш Рамбачан, один из авторов исследования, рассказал журналистам, что для объяснения этого феномена сначала необходимо выяснить, как именно работают внутренние механизмы популярных больших языковых моделей. Уточняется, что в процессе проведения исследования использовалась нейросеть, созданная на архитектуре «трансформер» (к примеру, точно такая же используется в популярных моделях ChatGPT).
Такие нейросети обучаются с применением огромных массивов текстовых данных и непрерывно совершенствуют свои способности в предугадывании следующих элементов в последовательности.
После не слишком впечатляющих результатов в построении маршрутов в Нью-Йорке та же команда исследователей решила проверить способности искусственного интеллекта играть в популярную настольную игру Отелло. В процессе исследования тестируемые модели ИИ на первом этапе снова показывали высокий уровень точности ходов. Однако проведённый анализ игры показал, что искусственный интеллект вообще не понимает сути происходящего.
В результате исследователи выявили парадоксальную закономерность: «трансформеры», делающие ходы, основываясь исключительно на случайном выборе, сформировали у себя более правильное понимание основных игровых принципов Отелло, нежели те ИИ-модели, обучение которых происходило непосредственно на конкретных партиях игры.
Интересно отметить, что из всех моделей искусственного интеллекта только одна (правда, учёные не назвали, какая именно) смогла на высоком уровне освоить правила игры Отелло, а не просто копировала и перебирала ранее изученные комбинации.
Ещё по теме: