Технологии виртуальной и дополненной реальности – AR/VR – с каждым годом находят все большее применение в самых разных отраслях экономики: промышленности, медицине, связи, транспорте, торговле. Благодаря их развитию появляются новые направления деятельности человека, одним из которых является виртуальное производство.
Виртуальное производство – это процесс создания виртуальных объектов и сцен с использований технологий AR/VR, особо востребованный в кино- и игровой индустрии.
Студию производства виртуальной реальности разрабатывает студент 3 курса факультета «Радио и телевидение» Глеб Воронков в Центре компьютерного зрения МТУСИ под руководством старшего преподавателя кафедры «Телевидение и звуковое вещание» Дмитрия Егорова.
Студия ARTCam позволяет проводить онлайн-трансляции событий, помещая реальных людей и объекты в 3D-среду. Возможны запись и редактирование трансляций, проведение их в социальных сетях, на стриминговых платформах и с помощью сервисов видеоконференций.
«Ключевое преимущество ARTCam – отсутствие необходимости заниматься постпродакшном (период обработки материала после съемок) и использовать дорогостоящие дисплеи для фонового изображения. Ввиду использования VR-технологий «картинка» получается насыщенной и объемной, а качество контента зависит лишь от характеристик сервера, на котором он генерируется. Студия реализована в среде Unreal Engine (UE), позволяющей обеспечивать высокую степень детализации, качества видеоконтента и реалистичности. Дополнительно использованы технология VR, трехмерная графика и программный продукт Open Broadcaster Software (OBS)», — прокомментировал Глеб Воронков.
По структуре студия состоит из 2 блоков: физического и виртуального. Первый включает в себя VR-систему ориентации камеры в пространстве, камеру, карту захвата изображения, сервер и монитор. Виртуальная часть представляет собой 2 продукта – UE и OBS.
Использование ARTCam даёт возможность ускорить процесс видеопроизводства за счет сокращения этапа постпродакшн и получения готовой видеопродукции в процессе производства, т.к. с помощью заранее подготовленной трехмерной сцены видеоконтент монтируется непосредственно во время трансляции. Благодаря виртуальной студии видеоинженер может вносить изменения во время прямого эфира без приостановок трансляции, смен кадра и потерь в качестве изображения. Возможна трансляция в прямом эфире с добавлением элементов трехмерного окружения в трехмерной виртуальной среде.
Студия может полноценно функционировать на площади от 30 м2, не требует Led-экранов, особых требований к мощности и защите питающей электросети, и для полноценной её работы достаточно пяти человек. В настоящее времени разработан действующий прототип и изготовлена техническая модель.
В ближайшем будущем планируется использовать в ARTCam подключение моделей нейронных сетейдля трекинга движений человека в кадре, генерации 3D-моделей и вырезания исходного фона, созданиябиблиотеки 3D-сцен и цифровых костюмов. Будет разработано собственное устройство ориентации камеры в пространстве, что позволит любому человеку полноценно использовать VR-технологию с ARTCam после краткого обучающего курса.
