В современной индустрии развлечений мокап выступает как неотъемлемый инструмент, придающий виртуальным мирам не только форму, но и ощущение живого присутствия.
От оптических и инерционных систем до гибридных и технологий с датчиками глубины, и с недавнего времени искусственного интеллекта, мокап раскрывает уникальные способы цифрового воплощения актёрской игры и производства анимации.
Давайте погрузимся в захватывающий мир технологии захвата движения, рассмотрим функционал различных систем и обсудим их отличие.
Подготовьтесь к увлекательному погружению в технологию, где реальность становится основой для виртуального искусства.
Разнообразие технологий захвата движений
Технология мокапа начинала с простых ограниченных общих движений, а современные системы могут точно регистрировать тонкие движения лица, рук и пальцев, создавая "захват актёрской игры" (Pcap).
Это расширяет возможности захвата, включая мимику и липсинг (Липсинг- от англ. lips — губы. Это процесс синхронизации движений губ с произносимыми звуками, используемый, например, в кино, анимации и музыкальных видеоклипах
При выборе Pcap-системы важно учесть стоимость, обучение пользование программой и обработку данных для достижения максимальной эффективности и предотвращения возможных сложностей.
Оптические системы (Маркерные)
В оптических системах мониторинга движений применяют камеры, которые захватывают и отслеживают маркеры на теле актёра, определяя трёхмерные координаты каждого маркера несколько раз в секунду. Маркеры могут быть активными (излучающими свет) или пассивными (отражающими свет).
Однако оптические системы, независимо от типа маркеров, обычно требуют большого количества камер, что может сделать их дорогими и неудобными в использовании.
Оптические системы, ориентированные на лицо, обычно требуют 1-2 камер, но часто включают в себя массивные шлемы, что может быть неудобным для актёрской игры. Пример хорошей анимации это сцена поцелуя с игры "The last of us 2". Их губы соприкасаются в нескольких местах, нос Элли правдоподобно изгибается при контакте, Элли даже покраснела в конце.
Примеры оптических систем захвата движения:
Инерционные системы (Безмаркерные)
Инерционная система, или IMU, представляет собой комплект компактных датчиков, которые включают в себя: гироскопы, магнетометры и акселерометры.
Эти системы не способны точно определить свою позицию в трёхмерном пространстве XYZ; вместо этого они основаны на данных о движении.
В пример можно привести систему Xsens, которая основана на инерциальных измерительных единицах (IMU), которые непосредственно измеряют ориентацию, а не положение. По этой причине точность расположения датчиков не имеет большого значения. При выполнении калибровки в программном обеспечении MVN ориентация каждого датчика будет совпадать с ориентацией каждого сегмента тела.
Это может привести к появлению позиционного "дрифта" со временем, (чем как раз и грешат данные системы) оказывая влияние на точность определения расположения актёра в трёхмерном XYZ-пространстве. Отсюда и разница в стоимости, если сравнивать две системы Rokoko и Xsens у последних будет меньше "дрифта", а значит не так часто нужно будет проводить калибровку системы.
Примеры инерционных систем захва движения:
Гибридные системы
В гибридных системах используют портативные устройства "шайбы", которые объединяют в себе инерционное и оптическое отслеживание, обеспечивая одновременный контроль за инерционными и оптическими данными. Которые обеспечивают точность и портативность
Примеры гибридных систем захвата движения:
Гибридные системы с гибридизацией на уровне датчика
В системах этого вида интегрируют оптическое отслеживание и инерционные измерения (IMU) внутри датчика.
Например, комбинированный использованием инерционного костюма Xsens и VIVE Tracker может улучшить точность отслеживания движений. Про VIVE Tracker у нас уже есть статья
Гибридные системы с гибридизацией на системном уровне
В таких системах объединяют инерционные костюмы и оптические маркеры, предоставляя дополнительные данные о позиции.
Системы с датчиком глубины и использование искусственного интеллекта
Системы с датчиком глубины, примером таких систем могут быть камеры от Kinect. Они часто применяются для трёхмерного захвата форм и лицевых движений.
Эти системы обеспечивают детализацию лицевых движений и могут оптимизировать процесс создания виртуальных персонажей, включая лицевой риггинг.
Искусственный интеллект использует изображения с камер для преобразования движений актера в анимацию. Он анализирует позы и движения актера, обучается на основе этих данных и затем создает анимацию, имитируя реальные движения.
Примеры систем с датчиком глубины:
- iPhone X с приложением LIVE Face
- Cubic Motion Persona HMC
Примеры с использованием ИИ:
- Rokoko Vision
- DeepMotion
- Move Al
Система захвата лицевых движений
Для захвата лицевых движений используются оптические системы и с датчиком глубины ( камеры с датчиком глубины)
Оптическая система точнее, но требует маркеров на лице, что занимает время и может вызывать проблемы при резких движениях.
Шлем с камерой перед лицом - распространённый вариант, но может отвлекать актёра. об этом мы писали ранее, про захват движений в игре "The last of us 2"
Для статичных позиций или захвата без шлема можно использовать систему, например, Medusa от Disney
Система захвата лица Medusa, разработанная DisneyResearch | Studios, состоит из мобильного устройства с камерами и светом в сочетании с фирменным программным обеспечением, которое может реконструировать лица актеров в полном движении без использования традиционных точек для захвата движения.
Примеры систем захвата лицевых движений:
- Faceware
- Nimble
Системы захвата движений рук и пальцев
При выборе системы захвата движений рук определите, насколько важен точный захват движений отдельных пальцев.
Большинство мокап-систем поддерживают базовые движения, но для детализированного отслеживания пальцев могут потребоваться дополнительные устройства, такие как перчатки с инерционными датчиками или тензометрическими сенсорами.
Перчатки для захвата движений рук содержат датчики, такие как акселерометры и гироскопы, которые измеряют движения и ориентацию пальцев. Полученные данные передаются по беспроводному каналу на компьютер, где специальное программное обеспечение интерпретирует их. Это позволяет использовать перчатки в виртуальной реальности, анимации и других областях, где важно точное воспроизведение движений рук.
Примеры систем захвата движений рук и пальцев:
- VR перчатки Rokoko Smartgloves
- MANUS OptiTrack Gloves
- Manus Xsens Metagloves
- Перчатки Senso Glove DK3
Вывод
Конечно же выбор mocap систем захвата актёрской игры может потребовать времени, это усилие окупится, когда вы подберёте систему, соответствующую вашим задачам и бюджету.
С полным пониманием функционала систем захвата позиции, позы, движений лица и пальцев, а также учитывая разницу в стоимости оборудования, вы сможете принимать обоснованные решения по мокап-проектам.
Мы рассказали о существующих системах на данный момент, но стоит помнить, что рынок постоянно эволюционирует.
Радует то, что эти передовые технологии становятся более доступными для разнообразных проектов и бюджетов.
Для более подробной информации подписывайтесь на наш канал в дальнейшем об каждой системе мы расскажем более подробно. Не упустите возможность узнать больше о последних тенденциях и интересных разработках.