NVIDIA представила Avatar Cloud Engine (ACE) — ИИ-модель, которая интегрирует искусственный интеллект в NPC-персонажей для естественного взаимодействия в играх.
Благодаря этому инструменту, разработчики ПО и игр смогут создавать и интегрировать уникальные модели для голоса, разговоров и движения. Проект реализуется в партнерстве с Convai — компанией, занимающейся разработкой разговорного AI для онлайн-игровых сред.
Вот как NVIDIA описывает основы модели:
- NVIDIA NeMo — для создания, настройки и развертывания языковых моделей с использованием собственных данных. Большие языковые модели могут быть настроены с учетом бэкграунда и истории персонажей, а также защищены от контрпродуктивных или небезопасных разговоров с помощью NeMo Guardrails
- NVIDIA Riva — для автоматического распознавания речи и текста-в-речь, позволяющих вести живую разговорную речь
- NVIDIA Omniverse Audio2Face — для мгновенного создания выразительной лицевой анимации игрового персонажа, соответствующей любой речевой дорожке. Audio2Face содержит коннекторы Omniverse для Unreal Engine 5, так что разработчики могут добавлять лицевую анимацию непосредственно к персонажам MetaHuman
NVIDIA также продемонстрировала модель, показав пример разговора, сгенерированного ИИ. Как вы можете видеть на видео ниже, персонаж отвечает на вопросы на основе предыстории с помощью генеративного ИИ.
Новый инструмент NVIDIA — это значительный прогресс для игровой индустрии. Сложно спрогнозировать, как ИИ будет включен в предстоящие игры, но можно не сомневаться, что технология существенно изменит опыт, по крайней мере при взаимодействии с NPC.
Разработчики игр и стартапы уже используют технологии генеративного AI от NVIDIA. Например, GSC Game World использует Audio2Face в долгожданной S.T.A.L.K.E.R. 2: Heart of Chornobyl. А независимый разработчик Fallen Leaf использует Audio2Face для лицевой анимации персонажей в Fort Solis — научно-фантастическом триллере от третьего лица на Марсе. Кроме того, Charisma.ai, компания, создающая виртуальных персонажей с помощью ИИ, использует Audio2Face для анимации в их движке разговоров.
NVIDIA активно использует ИИ во всех направлениях, и игры — важный сегмент, где компания также внедряет свою технологию сжатия до 16x, обучает модели DLSS 3 на серверах NVIDIA для улучшения деталей и качества, а также внедряет новую технологию кэширования, которая может помочь повысить производительность трассировки путей в таких играх, как Cyberpunk 2077, использующих эту технологию.