Компания Nvidia выпустила праздничное видео, в котором милый аватар в виде головы Дженсена Хуанга, генерального директора компании, поет Jingle Bells. Традиционная рождественская песня была переделана в стиле крунера 50-х годов, а игрушечный Дженсен, одетый в кожаную куртку, щелкает пальцами. Это забавное видео демонстрирует классные технологии и поднимает настроение.
Видеоролик - это не только способ поздравить поклонников Nvidia с праздником, но и демонстрация возможностей платформы Nvidia Omniverse Avatar Cloud Engine, или ACE. На рендеринг выступления ушло "всего несколько часов", оно демонстрирует реалистичные выражения лица и движения тела, а также технологию преобразования голоса, которая сопоставила тон Дженсена с голосом профессионального певца - это не настоящая запись голоса Дженсена.
Разбирая элементы видео, команда разработчиков Nvidia использовала недавно разработанную модель для наложения тембра голоса Дженсена Хуанга на образец пения профессионального вокалиста Jingle Bells. Музыкальные ноты из профессионального пения были наложены на цифровой голос игрушечного Дженсена, чтобы заставить аватара петь правильные ноты и ритм. Примечательно, что музыкальное оформление для этого выступления не было сгенерировано ИИ, а было создано Йохемом ван дер Саагом, композитором и продюсером, работавшим с Майклом Бубле и Дэвидом Фостером.
Далее технологии Omniverse Audio2Face (откроется в новой вкладке) и Audio2Gesture (откроется в новой вкладке) были использованы для создания реалистичной мимики и жестов, соответствующих анимированному музыкальному исполнению аватара Toy Jensen. Для более полного представления в стиле шоу талантов X-Factor, мы думаем, Nvidia придется разработать новую технологию Audio2Walk-down-steps.
Если рассматривать приведенное выше видео в некоторой перспективе, то Дженсен Хуанг попал в заголовки газет в ноябре, когда, находясь в Тайбэе, он устроил видео-бомбардировку певческого дуэта. Во время карнавала Taiwan Esports ему удалось протиснуться между Лах Илех Ли и Синтингом Ли во время исполнения песни Леди Гаги "Always Remember Us This Way". Это выступление стало вирусным, но Хуанг настаивает, что он слишком застенчив, чтобы записать исполнение Jingle Bells от реального лица, поэтому поручил своим инженерам подготовить выступление Toy Jensen, встроенное сверху.
Nvidia говорит, что платформа Omniverse ACE скоро будет доступна для партнеров с ранним доступом. Она не сообщает, будет ли в комплект поставки входить игрушечный Дженсен, с которым можно будет поиграть.