DeepMind, исследовательская лаборатория ИИ Google, представила Genie 3 в августе прошлого года, показав ИИ‑систему, способную в реальном времени генерировать интерактивные виртуальные среды. Теперь Google выпустила экспериментальный прототип, который подписчики Google AI могут опробовать уже сегодня. Признаем, создать VR‑мир на лету пока нельзя, но мы подбираемся опасно близко.
Project Genie — это «экспериментальный исследовательский прототип», как называет его Google, так что это пока не «игровая ИИ‑машина вашей мечты». По сути, он позволяет пользователям создавать, исследовать и изменять интерактивные виртуальные среды через веб‑интерфейс.
Система во многом напоминает прежние генераторы изображений и видео, где вы вводите текстовую подсказку и/или загружаете референсы, но Project Genie заходит на несколько шагов дальше.
Вместо одного у Project Genie два основных поля подсказок — для окружения и для персонажа. Третье поле позволяет изменить первоначальный вид до полной генерации сцены (например, сделать меч больше, заменить деревья на осенние).
Будучи ранней исследовательской системой, Project Genie имеет ограничения, отмечает Google в публикации в блоге. Сгенерированные миры могут не строго соответствовать физике реального мира или подсказкам, управление персонажем может быть непоследовательным, сессии ограничены 60 секундами, а часть ранее анонсированных функций ещё не доступна.
Пока что единственный выходной формат — видео вашего опыта, хотя вы можете исследовать и ремиксить чужие «миры» из галереи.
Project Genie постепенно становится доступен подписчикам Google AI Ultra в США в возрасте 18+, более широкий запуск запланирован позже. Подробнее — здесь.
Прежде чем что‑то вроде Project Genie заработает на VR‑гарнитурах, предстоит преодолеть множество препятствий.
Ключевое — облачный стриминг. Формально облачный гейминг на VR уже есть, но его стабильность зависит от близости к дата‑центру и сильно страдает из‑за задержек. К тому же лидеры рынка (NVIDIA GeForce Now, Xbox Cloud Gaming) ориентированы на «плоские» игры: требования к латентности рендера и ввода там гораздо мягче, чем в VR, где для комфорта нужна максимальная задержка «от движения до фотона» не более 20 мс.
И это не учитывает, что Project Genie должен как‑то учитывать стереоскопию — а значит, фактически рендерить две разные точки зрения, сводя их в цельную 3D‑картину, что добавляет своих проблем.
Насколько понимаю, мировые модели в Project Genie вероятностные: объекты могут вести себя немного по‑разному каждый раз, из‑за чего Genie 3 поддерживает лишь несколько минут непрерывного взаимодействия. Генерация мира имеет склонность со временем уходить от заданных подсказок, что даёт нежелательные результаты.
Вряд ли мы увидим VR‑версию в ближайшее время, но меня радуют «маленькие шаги» к этому. Идея по‑старатрековски, в стиле Holodeck, «заказывать» мир на лету для исследования — прошлого, настоящего или любой выдумки — невероятно притягательна с точки зрения обучения. Одна из моих самых используемых VR‑приложений — Google Earth VR, и я только могу представить себе более детализированную и яркую версию для изучения языков, «путешествий во времени» и виртуальных туров.
Прежде чем мы дойдём до этого, есть шанс, что интернет захлестнёт «game slop» — по сути, доведённый до крайности asset flipping. Разработчики игр, вероятно, столкнутся с теми же проблемами, что и другие цифровые художники: ИИ семплирует и пересобирает защищённые авторским правом работы — причём на новом уровне (кто‑то сказал GTA VI?).
И всё же не покидает ощущение, что будущее будет странным, но, надеюсь, интересным и не полностью ужасным. Я легко представляю, как фотореалистичные, управляемые ИИ среды сочетаются с интерфейсами мозг‑компьютер (BCI) — двумя направлениями, которые Valve исследует много лет, — и подают ту самую виртуальную реальность, которую я действительно жду.