NVIDIA объявила, что Mecha BREAK становится первой игрой, использующей технологии NVIDIA ACE для создания цифровых аватаров (Digital Humans). В числе этих технологий языковая Instruct-модель NVIDIA Nemotron-4 NIM с четырьмя миллиардами параметров, средства NVIDIA Audio2Face-3D NIM для лицевой анимации, также в игре будет задействована модель OpenAI Whisper для распознавания речи и решения Elevenlabs для преобразования текста в речь. Языковая модель NVIDIA и средство лицевой анимации будут запускаться локально на устройстве пользователя. Модели NIM оптимизированы для малого потребления памяти и более быстрого отклика. Средства распознавания и синтеза речи будут запускаться в облаке.
Скриншот из игры Mecha BREAK. Источник изображения: Amazing Seasun Game и Steam
Языковая модель NVIDIA Nemotron-4 4B Instruct позволит персонажам понимать игрока, реагировать на его действия и выполнять его инструкции. К примеру, игрок может разговаривать с внутриигровыми персонажами, расспрашивая их об игровых механиках, попросить помощь в выборе определённой модели меха для выполнения задания. Mecha BREAK — это многопользовательский проект от Amazing Seasun Game (игровая дочерняя компания Kingsoft Corporation), где игроки выступают операторами роботов (так называемых мехов) и участвуют в различных сетевых баталиях.
Точная дата выхода Mecha BREAK неизвестна, предварительная версия игры доступна в Steam, где можно запросить приглашение на тестирование. Релиз должен состояться в 2025 году.