Ученые Стэнфордского Университета пришли к выводу, что Большие языковые модели развиваются хотя и достаточно быстро, но вполне предсказуемо. Как показали тесты, поставленные учеными, сегодня нет причин беспокоиться, что прямо завтра и совершенно неожиданно ИИ настолько поумнеет, что превзойдет человека. Он умнеет, но шаг за шагом.
Появится ли внезапно ИИ, обладающий суперинтеллектом, или ученые заметят его приближение и нас предупредят? В последнее время этому вопросу уделяется много внимания, с появлением Больших языковых моделей, таких как GPT-4, которые по мере увеличения размера получили огромные новые возможности.
Некоторые результаты указывают на такое явление как «эмерджентность», при котором модели ИИ «умнеют» резким и непредсказуемым образом. Ученые Стэнфордского университета считают случаи такого внезапного «поумнения» артефактами, возникающими в результате тестирования систем. Ученые считают, что инновационные способности ИИ развиваются постепенно.
Чем больше, тем лучше
Большие языковые модели обычно обучаются с использованием огромных объемов текста или другой информации, которую они используют для генерации реалистичных ответов, предсказывая, что будет дальше. Даже без специальной подготовки им удается переводить с одного естественного языка на другой, решать математические задачи, писать стихи или компьютерный код.
Чем больше модель — некоторые из них имеют более ста миллиардов настраиваемых параметров — тем лучше она работает. Некоторые исследователи подозревают, что эти инструменты в конечном итоге позволят достичь общего искусственного интеллекта (AGI), который будет превосходить человека при решении большинства задач.
Новое исследование проверило утверждения об эмерджентности несколькими способами. В рамках одного из подходов ученые сравнили способности моделей OpenAI GPT-3 с разным числом параметров складывать четырехзначные числа. С точки зрения абсолютной точности производительность модели третьего и четвертого размера различалась от почти 0% до почти 100%. Это очень похоже на эмерджентность. Но исследователи обнаружили, что такой скачок можно значительно сгладить, предоставив моделям гораздо больше тестовых вопросов — в этом случае модели меньшего размера иногда отвечают правильно и эмерджентного скачка не видно.
Затем исследователи изучили производительность языковой модели LaMDA от Google при выполнении нескольких задач. Те задания, в которых на первый взгляд наблюдался внезапный интеллектуальный скачок, например, обнаружение иронии или перевод пословиц, часто представляли собой задания с несколькими вариантами ответов, которые дискретно оценивались как правильные или неправильные. Когда вместо этого исследователи ввели вероятности, которыми модели оценивали каждый ответ (вероятность — непрерывный показатель), признаки эмерджентности исчезли.
Наконец, исследователи обратились к компьютерному зрению, области, в которой меньше сообщений об эмерджентности. Они научили модели сжимать, а затем реконструировать изображения. Эмерджентность могла проявиться в скачке точности, с которой восстанавливалось изображение. Но этого тоже не произошло.
Но скачки интеллекта все-таки не исключены
Соавтор исследования Санми Койеджо говорит, что для людей было вполне разумно принять идею эмерджентности, учитывая, что некоторые системы демонстрируют резкие «фазовые изменения». Он также отмечает, что исследование не может полностью исключить, что в больших языковых моделях — не говоря уже о будущих системах — такие скачки интеллекта вполне возможны, но добавляет, что «научные исследования на сегодняшний день убедительно показывают, что большинство аспектов развития языковых моделей сегодня вполне предсказуемы».
Эта работа также имеет значение для безопасности и политики ИИ. Дебора Раджи, ученый-компьютерщик из Mozilla Foundation говорит, неоправданный страх может привести к ужесточению регулирования или отвлечению внимания от более серьезных рисков: «Модели совершенствуются, и эти улучшения полезны. Но они даже не приближаются к сознанию».