В одной из сцен фантастического боевика «Главный герой» для анимации мимики персонажа Ченнинга Татума применяли AI, вернее нейросетку (насколько я понимаю, это не совсем одно и то же) для создания новой фразы.
Открывающая сцена фильма – это экшн сцена с участием цифрового дублера Ченнинга Татума. Для этих кадров был сделан цифровой дублер в высоком разрешении. Но кроме обычного экшна, он еще и говорит пару фраз. И для этих кадров был нужен лицевой риг уже совсем другой проработанности. Потому что при произнесении фраз персонажа показывают довольно крупным планом.
Но в какой-то момент кинематографисты решили, что диалог надо изменить, что оригинальная фраза не ложится на сцену. Вместо довольно хлопотной организации пересъемок было решено проделать эту замену уже на цифровой кукле. Студию Digital Domain, которая занималась этими кадрами, попросили изменить артикуляцию персонажа. Однако, когда это было проделано, результат не понравился никому – Ченниг Татум не походил на себя в этих кадрах.
И тогда VFX супервайзер Никос Калайтзидис обратился в отдел исследований и разработок, специалисты которого уже некоторое время занимались изучением технологии DeepFake. У них разработана технология под названием Charlatan, предназначенная для замены лица. Инструмент использует нейросетку и 2D подход для анализа движения головы в отснятом материале. После чего VFX художники предлагают новое, созданное вручную, цифровое лицо, и нейросетка под управлением инструмента синхронизирует это новое лицо с отснятым материалом, фактически, заменяя этим новым лицом отснятый материал. После чего художники могут редактировать мимику лица, чтобы вставить в финальный результат новые выражения.
Технологию уже использовали для ролика Coach Lombardi и для Дэвида Бэкхема в ролике кампании Malaria Must Die.
В этих примерах речь шла про фотореалистичных «персонажей», а в фильме это уже был цифровой дублер.
Художники студии сделали новое цифровое лицо, взяли весь отснятый материал с Ченнингом Татумом и загнали его в нейросетку для обучения, и это заняло несколько дней. Потом использовали Charlatan для синхронизации нового лица с оригинальной игрой отснятого актера. В итоге система смогла воссоздать всю мимику оригинального лица – покадрово – по отснятому материалу, результат оказался ближе к оригиналу, чем то, что пытались сделать вручную. После чего актер озвучил новый диалог.
И сейчас технологию внедряют в будущие проекты.
#VFX #VFXhistory #DeepFake #Главный герой #кино #визуальные эффекты
