ChatGPT неплохо справляется с ответами на электронные письма или быстрой подготовкой документов, но еще не готов тягаться с мировыми шахматными вундеркиндами. Более того, оказалось, что он уступает даже игровым консолям полувековой давности. В ходе любопытного эксперимента один инженер решил проверить, как новейшая модель ChatGPT 4o проявит себя в игре против шахматного движка Atari 2600 на самом простом уровне сложности. Результат оказался неожиданным — ChatGPT потерпел сокрушительное поражение.
Интересный факт: в 1997 году суперкомпьютер IBM Deep Blue победил тогдашнего чемпиона мира и легендарного игрока Гарри Каспарова. С тех пор шахматные движки удерживают неоспоримое преимущество над своими человеческими коллегами. Современные версии Stockfish имеют расчётный рейтинг ELO свыше 3600 пунктов, в то время как лучшие шахматисты мира едва преодолевали отметку в 2800. ChatGPT и Atari 2600 находятся значительно ниже любого из таких показателей, но само противостояние всё же представляло для энтузиастов большой интерес.
Все началось с того, что инженер из компании Citrix Роберт Карузо, пообщавшись с ChatGPT об истории шахмат, захотел проверить, как быстро нейросеть одолеет компьютер, способный просчитывать ходы лишь на одну-две позиции вперед. Для этого он запустил эмулятор картриджа Video Chess 1979 года, а нейросети предложил анализировать положение на доске по скриншотам и на их основе определять свои действия. Карузо полагал, что для передовой языковой модели, в одно лишь обучение которой вложили десятки миллионов долларов, задача окажется пустяковой.
На деле же все вышло совсем иначе.
Atari 2600
«ChatGPT был полностью разгромлен на начальном уровне», — написал Карузо в LinkedIn. «Несмотря на предоставленную базовую схему доски для определения фигур, ChatGPT путал ладьи с слонами, пропускал пешечные „вилки“ и постоянно терял из виду расположение фигур. Сначала он сваливал вину на слишком абстрактные значки Atari, а после перехода на стандартную шахматную нотацию показал не лучшие результаты».
Программное обеспечение эмулируемой приставки Atari не отличалось особой изощрённостью в планировании ходов, однако даже такого уровня оказалось достаточно, чтобы поставить ChatGPT в тупик. Спустя полтора часа, даже при помощи Карузо, удерживавшего нейросеть от самых катастрофических ходов, ChatGPT сдался. При этом он не забыл поинтересоваться, можно ли начать заново и сыграть ещё раз.
Разумеется, ChatGPT изначально не разрабатывался как шахматная программа. Тем не менее его создатели из OpenAI и энтузиасты ИИ регулярно описывают возможности модели в крайне возвышенных тонах, утверждая, что человечество стоит на пороге создания искусственного интеллекта общего назначения, а следовательно — массовой потери рабочих мест и общественных потрясений.
Победа над старой игровой консолью, конечно, не входит в список его обязательных достижений, чтобы произвести подобную революцию, однако его шансы на успех были бы выше, если бы он не проваливался при решении задач за пределами своей компетенции.
Пожалуй, пока стоит использовать его для более рутинных задач.