Google DeepMind объявил о публикации предварительного прототипа SIMA-2 (Scalable Instructable Multiworld Agent) — следующего поколения агента, который, по словам создателей, «переходит за рамки простого исполнения инструкций, чтобы понимать и взаимодействовать с окружающей средой».
SIMA-1, представленный в марте 2024 года, обучался на сотнях часов видеоигр и смог выполнять простые команды во множестве 3-D игр, но в сложных задачах завершал их только 31% случаев, в то время как люди достигают 71%.
«SIMA-2 — это шаг в сторону более универсального агента, способного решать сложные задачи в ранее незнакомых средах и самосовершенствоваться на основе собственного опыта», — заявил старший исследователь Джо Марино.
Агент создан на базе Gemini 2.5 flash-lite, «общего искусственного интеллекта» (AGI) — системы, способной выполнять широкий спектр интеллектуальных задач, учиться новому и перенимать знания в разных областях. Марино пояснил, что работа с агентами в виртуальных средах важна для достижения интеллекта: «В виртуальном пространстве агент взаимодействует с физическим или виртуальным миром через органы чувств и действия, как робот или человек, в отличие от "не-тела-в-виртуальном" агента, который может, например, редактировать календарь».
В демонстрации в игре No Man’s Sky агент описывал окружающую планету, распознавал маяк беды и определял дальнейшие шаги. В другой игре он объяснял свой выбор, после чего успешно нашёл нужную локацию. Марино также показал, как SIMA-2 понимает инструкции в виде эмодзи: «Ты дашь ему эмодзи топора и ёлки, и он срубит дерево».
С помощью Gemini агент способен исследовать фотореалистичные миры, созданные моделью Genie, распознавая и взаимодействуя с объектами, такими как скамейки, деревья и бабочки.
Самообучение SIMA-2 основано на создании новых задач и оценке результатов собственной инициативы: после перехода в новую среду агент запрашивает у Gemini набор задач и отдельную модель вознаграждения, чтобы оценить свои попытки. Используя эти данные, агент корректирует поведение, постепенно повышая эффективность, как человек, обучающийся на собственных ошибках, но с подкреплением, предоставляемым ИИ.
DeepMind рассматривает SIMA-2 как важный шаг к созданию роботов, способных выполнять широкий спектр задач в реальном мире. По словам Фредерика Бессе, «необходимо два компонента: высокоуровневое понимание мира и способность разрабатывать последовательные планы». Хотя точная дата интеграции SIMA-2 в физический мир пока неизвестна, открытая демонстрация показывает, что в ближайшие годы существует вероятность увидеть более автономные и гибкие системы, способные как к интеллектуальной адаптации, так и к практическому взаимодействию с окружающей средой.