Как это сделано: цифровой Элтон Джон

Spinifex Group использовала новейшие технологии оцифровки тела и лица для глубокого погружения зрителя в знаковые моменты карьеры Элтона Джона с помощью представления в виртуальной реальности. В этом обзоре мы сосредоточимся на передовых технических решениях, используемых в проектах VR такого класса.

В производстве "фильма" использованы технологии прецизионного управления камерами, круговая стереоскопическая запись живых сцен, захват движения и мимики, 3D-моделирование и рендеринг на кластере из 95 графических ускорителей мощностью 1,1 Петафлоп. Одной из самых сложных задач стало сведение живого сферического видео с компьютерной графикой.

Дебют в 1970

От дебютного концерта Элтона Джона в США остались лишь несколько зернистых фотоснимков. Чтобы воссоздать исторический момент в виртуальном фильме, команда приняла решение использовать для съемки дублера с цифровым наложением лица.

Для съемки использовалась профессиональная круговая камера ZCam V1Pro с объективами MFT 9 x 190° и управляемой диафрагмой. Выходное разрешение сферической панорамы составило 7К.

Этап производства состоял из 1-дневного сеанса захвата движений и 2-дневной натурной съемки в Лос Анжелесе, с 5-дневной подготовкой.

Студийная съемка...

... и результат

Оцифровка движений Элтона

Для того, чтобы движения цифрового Элтона соответствовали оригиналу, был сделан захват движений (мокап) настоящего Элтона Джона.

Данные с датчиков на теле Элтона Джона поступали в программное обеспечение Vicon Blade. Для обработки данных использовался Motion Builder.

Мокап кистей рук

Цифровой Элтон

Для создания фотореалистичного цифрового двойника использована установка Road Runner. В процессе производства фильма были сканированы все виды мимических выражений FACS. В результате была создана скелетная модель с управляемыми мышечными элементами FACS.

Для 3D-сканирования использована установка Road Runner. Это мобильная многокамерная система для фотограмметрического сканирования людей в полный рост, позволяющая сканировать лица в высоком разрешении. Система располагается в трейлере в американском стиле. Время развертывания 2 часа

Система Road Runner состоит из 162 цифровых зеркальных фотокамер

Скелетная модель лица с управляемыми мышечными элементами FACS

Рендер модели лица

Производство

Производственный конвейер состоял из нескольких различных программных пакетов и плагинов. Финальный рендер выполнен в V-Ray и смонтирован в Nuke с CaraVR. Интерьеры и декорации отрендерены в RedShift и частично смонтированы в Adobe After Effects.

Анимация частиц была выполнена в C4D с модулем MoGraph. Для имитации движения жидких сред использован Turbulence FD. Рендеринг объемных спецэфектов выполнен в RedShift для C4D. Некоторые работы по анимации частиц сделаны в Nuke.

Сцена состоит из комбинации натурной съемки на хромакее, наложении лица и компьютерной графики.

Тестовая визуализация наложения лица

Финальный проект выпущен с разрешением 5120 х 5120 пикселей при 30 кадрах в секунду, общей длительностью фильма 6 минут.

Научно-исследовательский кинофотоинститут (НИКФИ) - легенда отечественной кинотехнической науки. На его счету и "Оскар" за стереокино в СССР, и фотографирование обратной сторны Луны, а теперь еще и нейросети и искусственный интеллект.

Мы в НИКФИ активно изучаем передовой опыт в области виртуальной реальности и иммерсивного кинематографа, а также ведем собственные разработки в области многокамерной съемки объемных сцен и создания голографического телевидения и новых видов зрелищ.

Приглашаем студентов и аспирантов на стажировку и работу в самых передовых областях компьютерной графики, виртуальной реальности и искусственного интеллекта!

Источник: https://www.fxguide.com/featured/digital-vr-elton/