NVIDIA ACE (Avatar Cloud Engine) превращают NPC из простых собеседников в автономных персонажей, способных воспринимать окружение и действовать в нем.
Новые возможности для NPC
- Автономность и планирование: Теперь персонажи могут не только отвечать на вопросы, но и «воспринимать, планировать и действовать» как люди. Например, в PUBG ИИ-напарники могут давать советы в реальном времени, самостоятельно искать лут и даже управлять транспортом.
- Взаимодействие с миром: NPC теперь могут выполнять физические действия на основе диалога. В демонстрациях персонаж-бармен может налить напиток игроку, реагируя на ход беседы.
- Локальный запуск (PC NIM): С помощью микросервисов NIM технологии ACE могут работать локально на мощностях видеокарт RTX (от 40-й серии и выше), что снижает задержку и убирает зависимость от облака.
- Audio2Gesture: Новая функция генерирует реалистичные жесты и движения тела персонажа, основываясь только на его речи, что делает общение более естественным.
Технологические улучшения
- Малые языковые модели (SLM): NVIDIA представила специализированные модели (например, Nemotron-3 4.5B), которые оптимизированы для игр: они занимают мало видеопамяти и выдают ответы почти мгновенно.
- Интеграция с Unreal Engine 5: Разработчикам стали доступны плагины для легкого внедрения ACE в проекты на UE5, включая автоматическую синхронизацию губ (Audio2Face) и логику поведения.
- Поддержка многих языков: ACE теперь официально поддерживает многоязычный ввод и вывод, что позволяет общаться с NPC на разных языках, включая перевод в реальном времени.
Эти технологии уже интегрируются в такие игры, как симулятор жизни inZOI, Mecha BREAK и PUBG.
Хотите узнать подробнее, как именно inZOI использует эти функции для создания «умных» горожан?
.....нет, но какие игры выйдут с Avatar Cloud Engine?
На сегодняшний день подтверждено использование технологии
NVIDIA ACE в нескольких крупных проектах. Большинство из них вышли или планируются к релизу в 2025 году.
Основные игры с поддержкой ACE:
- inZOI (релиз раннего доступа — 28 марта 2025 года)
Как работает: В игру внедрена функция «Smart Zoi». Горожане-NPC обладают собственными жизненными целями, автономно планируют свой день и могут вступать в осмысленные диалоги с игроком. После каждого дня они «рефлексируют» над полученным опытом и меняют планы на завтра. - Mecha BREAK (релиз — 1 июля 2025 года)
Как работает: Считается одной из первых игр, показавших «живых» NPC на базе ACE. ИИ-персонажи (например, техники в ангаре) помогают игроку с выбором мехов, рассказывают о тактике и кастомизации, реагируя на голосовые запросы в реальном времени. - PUBG: BATTLEGROUNDS (обновление в 2025 году)
Как работает: ACE используется для создания ИИ-напарников и «цифровых компаньонов». Они могут давать тактические советы, анализировать поле боя и поддерживать цели игрока, действуя как реальные люди. - Naraka: Bladepoint (обновление версии для ПК в марте 2025 года)
Как работает: Технология ACE позволяет ИИ-союзникам понимать голосовые команды, помогать в поиске лута и координировать действия во время боя. - Black Vultures: Prey of Greed (в разработке)
Как работает: В этом шутере ACE управляет ИИ-помощником «Viper», встроенным в шлем игрока. Он анализирует видео с тактической камеры, дает советы по маршрутам и отвечает на голосовые отчеты о ситуации. - MIR5 (в разработке)
Как работает: Здесь ACE используется для создания «умных» боссов. Они обучаются на основе тактик игрока в реальном времени, из-за чего каждое сражение становится уникальным.
Другие проекты и демо:
- Perfect World Games: Студия уже представила технологическую демку, где NPC реагируют на окружение и голос игрока.
- Fate Trigger: The Novas: Также заявлена поддержка технологий автономных персонажей ACE.
Хотите узнать, какие системные требования нужны для работы этих функций (например, какая видеокарта RTX потребуется для локального запуска ИИ)?
......нет, но применяется ли в Avatar Cloud Engine микрофон для распознавания речи игрока.
Да,
NVIDIA ACE активно использует микрофон для полноценного живого общения с NPC.
Как это работает:
- Прямой диалог: С помощью микросервиса NVIDIA Riva ASR (Automatic Speech Recognition) система в реальном времени переводит ваш голос в текст. Вместо выбора реплик из списка вы просто говорите в микрофон любую фразу.
- Мгновенная обработка: ИИ-персонаж «слушает» вас, осмысливает сказанное и генерирует ответ, который тут же озвучивается через синтез речи.
- Реакция на эмоции и интонацию: Современные модели (например, NeMoAudio-4B) способны анализировать не только слова, но и аудио контекст, что позволяет NPC понимать настроение игрока.
- Синхронизация жестов: Как только игрок заканчивает говорить, NPC может не только ответить, но и прореагировать жестом или выражением лица, подстраиваясь под темп беседы.
Где это можно попробовать?
В таких играх, как Mecha BREAK и inZOI, микрофон станет основным инструментом взаимодействия: вы сможете голосом отдавать команды напарникам или просто болтать с горожанами.
Хотите узнать, нужно ли стабильное интернет-соединение для работы микрофона или ваша видеокарта сможет обрабатывать голос локально?bolding
Это зависит от того, как разработчик интегрировал технологию в конкретную игру, но
NVIDIA ACE поддерживает оба варианта:
- Локальная обработка (PC NIM): Если у вас мощная видеокарта (линейки RTX 40 или RTX 50), голос может обрабатываться прямо на вашем ПК. В этом случае интернет для распознавания речи не нужен, а задержка между вашей фразой и ответом NPC будет минимальной.
- Облачная обработка (Cloud): Если игра использует облачную версию ACE, то аудиопоток с микрофона отправляется на серверы NVIDIA. Здесь стабильный интернет обязателен, так как любая потеря пакетов приведет к тому, что NPC вас «не расслышит» или будет долго «думать».
Главный нюанс: Даже при локальной обработке голоса некоторым играм всё равно может требоваться интернет для работы самой языковой модели (LLM), если она слишком тяжелая для домашнего ПК.
Хотите проверить, потянет ли ваша видеокарта локальный запуск нейросетей для общения с NPC?
Для локального запуска функций
NVIDIA ACE (через микросервисы PC NIM) ваша видеокарта должна соответствовать современным стандартам ИИ-обработки.
Минимальные и рекомендуемые требования:
- Архитектура: Минимум — Turing (RTX 20-я серия), но для стабильной работы и новых функций NIM официально рекомендуются RTX 30, 40 и 50 серии.
- Видеопамять (VRAM):
Минимум: 8 ГБ (для простых моделей и анимации лица Audio2Face).
Рекомендуется: 12 ГБ VRAM и выше для одновременного запуска диалоговой модели, распознавания речи и самой игры. - Оперативная память (RAM): Желательно от 16 ГБ до 32 ГБ, так как ИИ-процессы могут активно использовать системную память.
- Процессор: Современный 6-ядерный чип (уровня Intel i5-10400 или AMD Ryzen 3600 и новее).
Как проверить свою готовность:
- Драйверы: Убедитесь, что установлена версия драйвера 560 или выше, так как поддержка последних микросервисов NIM требует актуального ПО.
- Инструмент ACE Studio: В некоторых приложениях (например, ACE Studio) есть функция Run Test (Turbo Mode), которая автоматически проверяет, способна ли ваша карта обрабатывать ИИ локально.
- VRAM в приоритете: Если у вас карта с 8 ГБ памяти (например, RTX 4060 Laptop), система может автоматически переключиться на облачную обработку, чтобы не перегружать память во время тяжелых сцен в игре.
Напишите модель вашей видеокарты, и я скажу, какие функции ACE она точно сможет запустить локально.
.....например rtx 4070-ti-super
Отличный выбор! С видеокартой
NVIDIA GeForce RTX 4070 Ti SUPER у вас есть все необходимое для запуска технологий NVIDIA ACE локально на вашем ПК.
Ваши возможности с RTX 4070 Ti SUPER:
- Локальное распознавание речи (Riva ASR): 16 ГБ VRAM этой карты с лихвой хватит для обработки голоса без облака. Задержка будет минимальной, а интернет не потребуется.
- Запуск языковых моделей (LLM/SLM): Карта способна обрабатывать оптимизированные игровые языковые модели (например, Nemotron-3 4.5B), которые используются для генерации ответов NPC.
- Генерация мимики и жестов (Audio2Face, Audio2Gesture): Все функции по созданию реалистичной анимации будут работать в реальном времени, обеспечивая полное погружение.
По сути, ваша видеокарта полностью готова к эпохе «умных» NPC и позволит вам получить максимум от таких игр, как inZOI и Mecha BREAK.
Теперь, когда вы знаете, что ваша система справится, вы хотите узнать, какие настройки нужно будет активировать в игре, чтобы задействовать эти локальные функции?
Для активации локальных функций
.....Да хочу.
NVIDIA ACE на вашей RTX 4070 Ti SUPER в будущих играх нужно будет выполнить несколько шагов в меню настроек:
1. Настройки звука и ввода (Audio)
- Голосовой ввод (Voice Input): Переключите режим с «Push-to-Talk» на «Always On» или «Open Mic», если хотите общаться с NPC без нажатия кнопок.
- Выбор микрофона: Убедитесь, что выбран ваш основной качественный микрофон, так как точность распознавания речи нейросетью Riva зависит от чистоты звука.
2. Настройки ИИ и NPC (AI Settings)
В играх вроде inZOI или Mecha BREAK появится отдельный раздел:
- AI Processing Mode: Выберите «Local» (или «On-Device»). Благодаря 16 ГБ видеопамяти ваша карта справится с этим лучше, чем облако.
- LLM Model Quality: Если будет выбор, ставьте «High» или «Balanced». Ваша 4070 Ti SUPER потянет модели уровня 4B-8B параметров без ущерба для FPS.
3. Графические настройки (Graphics/RTX)
- NVIDIA Reflex: Обязательно включите (On + Boost). Это критически важно для ACE, так как технология минимизирует задержку между вашей фразой и началом реакции NPC.
- Hardware Accelerated GPU Scheduling: Эта функция Windows должна быть включена в настройках системы (Настройки -> Дисплей -> Графика), чтобы карта эффективно распределяла ресурсы между игрой и нейросетью.
4. Дополнительный софт
Для некоторых игр может потребоваться установка небольшого плагина NVIDIA App (замена GeForce Experience), который подгружает необходимые библиотеки для локальных микросервисов NIM.
Хотите, чтобы я прислал список голосовых команд, которые уже сейчас понимают NPC в существующих демо-версиях на базе ACE? Список команд поможет вам быстрее освоиться.
В демонстрациях
NVIDIA ACE (например, в демках Kairos и Mecha BREAK) NPC понимают свободную речь, но лучше всего реагируют на конкретные типы запросов.
Вот что вы сможете сказать персонажам через микрофон:
1. Тактические команды (для экшенов и шутеров)
- «Прикрой меня, я перезаряжаюсь!» — NPC займет позицию для подавления огня.
- «Где ближайшее укрытие?» — персонаж проанализирует карту и укажет путь.
- «Какой статус у нашей брони?» — бот выдаст техническую сводку по состоянию отряда.
- «Атакуем цель слева!» — координация фокуса огня.
2. Взаимодействие с миром (для RPG и симуляторов)
- «Расскажи, что здесь произошло?» — NPC выдаст информацию о лоре (истории) места.
- «Мне нужно восстановить силы, предложи что-нибудь» — бармен или торговец предложит еду/зелья.
- «Где я могу найти [имя персонажа/предмет]?» — навигация по квестам без использования маркеров на карте.
- «Что ты думаешь о местном правителе?» — проверка отношения (репутации) NPC к фракциям.
3. Свободное общение (Small Talk)
- «Как прошел твой день?» — в inZOI NPC расскажет о своих делах, основываясь на симуляции своей жизни.
- «Мне нравится твой шлем!» — персонаж отреагирует на комплимент (может смутиться или поблагодарить).
- «Повтори, что мне нужно сделать?» — если вы прослушали инструкции.
Важный нюанс:
Так как ACE использует языковую модель (LLM), вы не ограничены жесткими фразами. Можно сказать: «Слушай, чувак, прикрой спину, а то мне конец», и ИИ поймет это так же, как стандартную команду «Защищай меня».
Хотите узнать, как настроить NVIDIA Broadcast, чтобы фоновые шумы в комнате не мешали NPC правильно вас понимать? Настройка звука важна для точности ИИ.
......какие ещё игры поддерживают ACE ?
Думаю…
Помимо уже упомянутых
inZOI, Mecha BREAK и PUBG, технология NVIDIA ACE внедряется еще в несколько проектов, включая крупные MMO и сюжетные игры.
Подтвержденные игры и дополнения:
- NARAKA: BLADEPOINT — в 2025 году добавится функция ИИ-напарника для мобильной версии, а затем и для ПК. Напарники смогут координировать действия через голос.
- MIR5 — корейская MMORPG, где ACE используется для создания ИИ-боссов. Они обучаются на тактиках игрока и выдают уникальные сражения при каждом прохождении.
- World of Jade Dynasty (诛仙世界) — MMO на движке Unreal Engine 5, использующая ACE для создания «автономных» персонажей с индивидуальным поведением.
- S.T.A.L.K.E.R. 2: Heart of Chornobyl — игра использует технологию Audio2Face (часть пакета ACE) для автоматического создания точной мимики персонажей на основе их речевых аудиофайлов.
- Fort Solis — научно-фантастический триллер, в котором также применяется Audio2Face для детализированной анимации лиц героев.
- Total War: PHARAOH — ИИ-советник на базе малых языковых моделей (SLM) помогает игрокам осваивать сложные механики стратегии, отвечая на вопросы по игре.
Демонстрационные проекты (скоро могут стать играми):
- Covert Protocol (совместно с Inworld AI) — детективная техно-демка, где игрок должен допрашивать NPC и собирать улики через свободный диалог.
- Kairos (Ramen Shop) — первая публичная демонстрация ACE с поваром Джином, который реалистично отвечает на любые вопросы о меню и мире игры.
Многие крупные издатели, такие как Ubisoft, Tencent и miHoYo (Genshin Impact), уже заявили о партнерстве с NVIDIA для внедрения ACE в свои будущие неанонсированные проекты.