Несмотря на то, что ChatGPT представляют как следующий шаг в эволюции искусственного интеллекта, большие языковые модели на самом деле ещё очень далеки от того, чтобы назвать их умными. Время от времени какой-нибудь странный эксперимент или тест напоминают всем, что так называемый интеллектуальный ИИ весьма ограничен.
Точная эмуляция процессора Atari 2600, работающего на частоте всего 1,19 МГц, более чем достаточна, чтобы полностью дискредитировать ChatGPT в игре в шахматы. Инженер Citrix Роберт Карузо провел небольшой эксперимент на выходных, столкнув казалось бы всемогущего чат-бота OpenAI с виртуальной консолью Atari 2600.
Сообщается, что Карузо позаимствовал идею у самого ChatGPT после беседы с ботом об истории ИИ и шахмат. Служба OpenAI вызвалась сыграть в Atari Chess, что, как предположил Карузо, относится к Video Chess — единственной шахматной игре, выпущенной для Atari 2600.
Несмотря на то, что ChatGPT получил базовую схему доски для идентификации фигур, он испытывал трудности. По словам Карузо, бот путал ладьи со слонами, пропускал очевидные ходы пешек и допустил ряд непонятных ошибок. В какой-то момент ChatGPT даже обвинил внешние факторы, такие как абстрактные символы, используемые Video Chess для изображения фигур, в своей неспособности отслеживать состояние игры.
«В течение 90 минут мне приходилось останавливать его от совершения ужасных ходов и корректировать его осведомлённость о положении фигур несколько раз за ход», — сказал инженер о действиях ChatGPT.
По-видимому, бот постоянно продолжал просить перезапустить игру в надежде улучшить свою производительность, но в конечном итоге был побеждён 8-битным шахматным движком. Процессор с частотой немногим более 1 МГц должен, в лучшем случае, думать на один-два хода вперед, в то время как ChatGPT полагается на большое количество современных графических процессоров, чтобы поддерживать работу своего сервиса. И все же процессор с частотой 1 МГц победил, разгромив чат-бота ещё на начальном уровне.
Эксперимент Карузо стал полезным напоминанием, что на самом деле представляют собой модели LLM: сложная, основанная на эвристике поисковая система, разработанная для того, чтобы постоянно радовать конечного пользователя каким-то захватывающим результатом. Они ничего по сути не знают, не обладают способностями к рассуждению или дедукции и, конечно, у них нет собственного интеллекта. И они абсолютно ужасно играют в шахматы.