Недавно один исследователь, Адриан де Винтер, решил испытать возможности языковой модели GPT-4 в культовой видеоигре DOOM. Для этого он использовал мультимодальный вариант GPT-4V, способный принимать изображения в качестве входных данных.
Де Винтер разработал специальный компонент Vision, который делает скриншоты из игрового движка и возвращает структурные описания состояния игры. Затем эта информация объединяется с моделью агента, вызывающей GPT-4 для принятия решений на основе визуального ввода и предыдущей истории. Модель агента преобразует ответы ИИ в команды, понятные игровому движку.
Таким образом, GPT-4 получает картинку с игровым процессом, анализирует её, принимает решение и отправляет команду обратно в DOOM. Благодаря этой конструкции ИИ способен перемещаться по уровню, открывать двери, стрелять и сражаться с врагами.
Однако у GPT-4 есть некоторые недостатки как у игрока. Например, если противник выходит за пределы экрана, ИИ "забывает" о его существовании, хотя враг остаётся в живых и может продолжать атаковать. Кроме того, у GPT-4 проблемы с ориентацией в пространстве и рассуждениями - порой он застревает или даёт неверные объяснения своим действиям.
Исследователь также отметил тревожный этический аспект: насколько легко оказалось заставить модель стрелять в кого-либо без раздумий. Этот эксперимент показывает, что по мере развития ИИ важно учитывать потенциальные риски и последствия его применения, даже в таких, казалось бы, безобидных сферах, как видеоигры.
Несмотря на недостатки, способность GPT-4 играть в DOOM впечатляет и открывает новые горизонты для применения языковых моделей в игровой индустрии. Возможно, в будущем мы увидим более совершенных ИИ-игроков, способных составить конкуренцию человеку.