GPT-4 учится играть в легендарный шутер DOOM
Недавно один исследователь, Адриан де Винтер, решил испытать возможности языковой модели GPT-4 в культовой видеоигре DOOM. Для этого он использовал мультимодальный вариант GPT-4V, способный принимать изображения в качестве входных данных. Де Винтер разработал специальный компонент Vision, который делает скриншоты из игрового движка и возвращает структурные описания состояния игры. Затем эта информация объединяется с моделью агента, вызывающей GPT-4 для принятия решений на основе визуального ввода и предыдущей истории...