Группа исследователей из Nvidia, Stanford, Caltech и других институтов представила NitroGen — универсальный игровой ИИ. Проект возглавляет Nvidia. О разработке рассказал Джим Фан, директор по ИИ и Distinguished Scientist компании.
По его словам, NitroGen — это open-source foundation-модель, обученная играть более чем в 1000 видеоигр. Однако значение работы выходит далеко за рамки гейминга. Технология может повлиять на симуляции и робототехнику.
«GPT для действий», а не для текста
По сути, NitroGen можно рассматривать как попытку создать «GPT для действий». Вместо текста модель изучает поведение, реакции и моторные навыки.
Таким образом, подход масштабирует методы LLM за пределы языка и компьютерного зрения. Более того, в исследовании подчёркивается, что создание универсальных воплощённых агентов, способных работать в неизвестной среде, давно считается одной из главных целей ИИ.
Основа — робототехническая архитектура GROOT
Интересно, что NitroGen построен на архитектуре GROOT N1.5. Изначально она разрабатывалась для роботов. Однако теперь её применили в игровой среде.
Следовательно, прогресс в играх может вернуться обратно в робототехнику. Особенно это важно для роботов, работающих в сложных и непредсказуемых условиях.
Обучение на 40 000 часов игрового видео
Для обучения использовалось более 40 000 часов публичных игровых записей. Эти видео были взяты со стриминговых платформ.
Особенно ценными оказались записи, где игроки показывали нажатия кнопок геймпада в реальном времени. Благодаря этому модель смогла связать визуальные события с действиями.
Успехи в играх самых разных жанров
В тестах NitroGen показал работоспособность в играх разных типов. Это RPG, платформеры, королевские битвы, гонки, 2D- и 3D-проекты.
Как отмечает Фан, модель справляется с играми, которые имеют разную физику и механику. Однако он подчёркивает, что это лишь начало. Впереди остаётся значительный объём работы.
Фокус на «геймерский инстинкт»
Первая версия NitroGen специально ориентирована на быстрое моторное управление. Фан называет это «геймерским инстинктом».
При этом модель показывает уверенные результаты и в новых средах. В частности, в процедурно генерируемых мирах и незнакомых играх NitroGen демонстрирует на 52% более высокий уровень успешности, чем модели, обученные с нуля.
Открытый код для экспериментов
Вся работа над NitroGen была полностью выложена в открытый доступ. Исследователи опубликовали веса модели, датасет действий и исходный код.
Поэтому разработчики и энтузиасты могут свободно экспериментировать. Проект будет интересен не только геймдеву, но и специалистам по робототехнике и ИИ.
Итог
NitroGen показывает, что видеоигры могут служить универсальной средой для обучения ИИ действиям. Таким образом, граница между виртуальными мирами и реальной робототехникой становится всё тоньше.
Если подход окажется масштабируемым, он может ускорить появление универсальных автономных агентов. И это уже выходит далеко за пределы игр.