🎙️ NVIDIA открыла исходный код Audio2Face — инструмента для анимации лиц в реальном времени по аудиосигналу

🎙️ NVIDIA открыла исходный код Audio2Face — инструмента для анимации лиц в реальном времени по аудиосигналу.

Технология анализирует фонемы, интонацию и эмоции, создавая естественную мимику 3D-персонажей. Audio2Face уже работает с Autodesk Maya и Unreal Engine 5, в комплекте идут SDK, фреймворк для обучения и датасеты.

⚙️ Доступны:

• регрессионные и диффузионные модели для синхронизации губ;

• сеть Audio2Emotion для распознавания эмоций.

Теперь разработчики игр, VR и анимации могут внедрять живую речь и эмоции ещё проще.

💬 @Mikhaylov_Review