Протокол цифрового мультиплексирования (DMX) уже более трех десятилетий является отраслевым стандартом для управления освещением; однако точное предварительное визуализацию программирования освещения, которое позже будет использоваться в живом исполнении для управления и управления приборами с поддержкой DMX, было сложной задачей, поскольку существующие решения предлагали ограниченные возможности для представления реалистичных и точных результатов.
В Unreal Engine 4.25 мы представили нашу первоначальную поддержку подключения движка к внешним контроллерам и устройствам, использующим протокол DMX. Это не только создает новые возможности для использования рендеринга в реальном времени для предварительной визуализации освещения, но и предвосхищает будущее, когда пользователи смогут однажды управлять устройствами или запускать их прямо из движка во время живого события.
С тех пор мы сотрудничаем с мультимедийной студией Moment Factory, чтобы создать образец проекта, которым мы поделимся со всеми нашими пользователями. В процессе создания этого примера проекта члены команды Moment Factory делились своим опытом, и их отзывы сыграли важную роль в процессе разработки нового плагина DMX.
Moment Factory со штаб-квартирой в Монреале сочетает в себе видео, освещение, архитектуру, звук и специальные эффекты для создания незабываемых впечатлений. С момента своего основания в 2001 году он реализовал более 450 уникальных проектов по всему миру, включая получившую признание критиков серию Lumina Night Walk. Производства охватывают весь мир и включают таких клиентов, как Мадонна, Джей-Зи, Билли Эйлиш и Чилдиш Гамбино, а также такие известные компании, как Disney, Microsoft и Sony; инсталляции используются в таких разнообразных местах, как аэропорты, соборы и зоопарки.
Уже знакомые с Unreal Engine по более ранним проектам и почти 20 лет использующие DMX в производстве, Moment Factory был идеальным партнером, который помогал направлять наши инженерные разработки при создании образца, и они были рады воспользоваться этой возможностью.
«Нам, как дизайнерам, представлялось очень интересным разработать инструмент не только для наших нужд, но и для того, чтобы помочь Epic преодолеть разрыв между физическим миром живых событий и цифровым миром». - говорит Даниэль Жан, продюсер Moment Factory.
Производственное тестирование поддержки DMX Unreal Engine
Первоначально команда потратила время на исследование, изучение и тестирование первой итерации плагина в Unreal Engine 4.25, чтобы лучше понять потенциал инструмента. То, что они обнаружили, их взволновало.
«Как дизайнеры мультимедийных шоу, работа с таким игровым движком, как Unreal, была для меня открытием совершенно нового мира», - говорит Джин. «Нам дали инструмент, в котором теперь было гораздо больше возможностей. Unreal Engine улучшает наш творческий процесс, сочетая рабочие процессы дизайна контента, освещения и сценографии. Unreal Engine действительно изменил наши взгляды на процесс производства мультимедиа ».
Затем команда начала планировать образец проект, черпая вдохновение в реальное время кинематографического Quixel в перерождении, созданный в Unreal Engine. Их сценический дизайн сопоставлял виртуальное с реальным, помещая сценографию, напоминающую пьесу, в центре огромной арены. Чтобы использовать возможности рендеринга Unreal Engine и продемонстрировать недавно разработанную систему DMX прокси, они спроектировали и создали сложную осветительную установку, которая заполнила все открытое пространство.
Согласовав первоначальный план, команда приступила к созданию концепции дизайна освещения, одновременно делясь своими отзывами о плагине с разработчиками Unreal Engine. Этот бесценный отзыв был использован для адаптации и улучшения плагина для версии 4.26.
После того, как были выпущены первые предварительные версии Unreal Engine 4.26, Moment Factory провела дополнительный этап тестирования точности, в результате чего многие улучшения были внесены в окончательный выпуск.
Реальный опыт помогает направлять разработку Unreal Engine
Знания и опыт Moment Factory неоценимы для команды разработчиков Unreal Engine. Отзывы команды позволили лучше понять ожидания рынка, когда дело касается превизуализации и производства виртуальных и живых мероприятий. Образец проекта, созданный командой, раздвинул границы того, что было бы достижимо в производственной среде.
«Передав этот инструмент нашим дизайнерам шоу в Moment Factory, Epic Games провела краш-тест разработки своего плагина DMX, используя конкретные потребности, ожидания и примеры индустрии производства шоу», - говорит Жан-Батист Хардуан, креативный директор Moment Factory.
«Мы приблизились к условиям реальной постановки шоу, чтобы проверить пределы смешивания контента, освещения, пиротехники, лазеров, движений камеры, реалистичных сценических рендеров и аудитории», - объясняет он. «В конечном итоге это создало убедительный пример использования Unreal Engine в реальном рабочем процессе производства и предварительного просмотра. Сотрудничество над тем, что объединяет наш опыт и знания, позволило нам создать инструмент, который поднимает планку для дизайна виртуальных шоу».
Команда уверена, что созданный ими образец послужит важным инструментом для дизайнеров Unreal Engine и вдохновит пользователей и индустрию событий в целом на изучение новых творческих возможностей.
«Мы стремились создать что-то эмоциональное и волнующее, что выходит за рамки простой демонстрации программного обеспечения», - говорит Хардоин. «Мы считаем, что образец может быть полезен широкому кругу пользователей, которые хотят исследовать свои творческие способности в виртуальном пространстве».
«Я думаю, что наш разум будет взорван пользовательской базой Unreal», - говорит технолог по свету Жан-Бенуа Менье. «Я очень хочу увидеть, какие безумные вещи будут придумывать люди».
Копирование и использование реального оборудования для живых выступлений
С помощью подключаемого модуля DMX вы можете создать свое шоу, используя внешнюю осветительную консоль, такую как GrandMA2 Light, которая используется для программирования этого образца. Затем это программирование можно записать на дорожку секвенсора , что позволит вам воспроизвести его автономно при отключенной консоли. Вы можете посмотреть шоу с точки зрения FOH (перед домом) или с помощью предоставленной последовательности анимированных снимков камеры. Для удобства мы включили запись трека Sequencer DMX с семплом, а также сопровождающий файл шоу.
В контексте предварительной визуализации событий в прямом эфире проект был разработан с нуля, чтобы быть максимально приближенным к своему реальному техническому аналогу. Все источники света, осветительные приборы и эффекты, видимые в проекте, полностью управляются дорожкой Sequencer DMX, синхронизированной со звуковой дорожкой и другими элементами шоу.
В качестве примечания: возможность управлять приборами реального времени из Unreal Engine таким образом может принести пользу другим отраслям, таким как виртуальное производство, где светодиодные стены используются для визуальных эффектов в камере.
Охватывая 15 вселенных DMX Art-Net и 7368 каналов DMX , проект управляет в общей сложности 768 приборами через 144 уникальных световых сигнала., в том числе изготовленные на заказ светодиодные ленты, живописные размытые фонари, стробоскопы, прожекторы, детали и тонеры для ферм - не говоря уже о различных приспособлениях для создания эффектов, таких как пиротехника, фейерверки и RGB-лазеры, которые добавляют дополнительный эффект.
В качестве примера использования Unreal Engine в качестве сложной части производственного рабочего процесса, выходящей за рамки простого предварительного просмотра, проект также демонстрирует возможность управлять дополнительными виртуальными творческими элементами с помощью DMX.
Помимо того, что исследовано в примере, Unreal Engine поддерживает OSC и его REST API, предлагая дополнительные возможности интеграции для еще более продвинутого дизайна шоу и управления.
Изучение новых возможностей для разработки живых мероприятий
Как сами продюсеры шоу, Moment Factory взволнованы тем, как новый набор функций изменит способ его работы.
«Очень ценно иметь инструмент, который позволяет точно визуализировать ваши творческие замыслы на ранней стадии проектирования», - говорит дизайнер по свету Марк Тетро. «По мере продвижения проекта это позволяет нам еще больше улучшать дизайн и интегрировать каждый новый компонент шоу в единую среду предварительной визуализации. Это позволяет нашей команде быть более эффективной и гибкой на протяжении всего творческого процесса.
«В Moment Factory мы всегда играем с визуальными иллюзиями, смешивая элементы вместе, чтобы создать незабываемые впечатления для нашей аудитории. Работа с таким фотореалистичным движком, как Unreal, на один шаг приблизила нас к полностью точной превизуализации. Unreal Engine показал нам, что нашему творчеству действительно не может быть предела».
Менье отмечает, что клиенты тоже выигрывают.
«Всегда очень сложно делиться нашими идеями по освещению или тем, что мы видим в головах, нашим клиентам», - говорит он. «Теперь, когда у нас есть такой инструмент, как Unreal, он действительно приближает клиента к опыту создания. У клиента действительно есть возможность участвовать в реальном времени во всем, что мы разрабатываем. Они могут иметь полное представление о том, что мы им на самом деле продаем».
Доминик Оде, соучредитель и глава отдела инноваций Moment Factory, прогнозирует еще большее влияние в будущем.
«Поскольку живые выступления и онлайн-выступления теперь сосуществуют, мы предвидим гибридизацию реальных и виртуальных шоу-программ», - говорит он. «Если Unreal Engine станет обычным инструментом для творчества как в виртуальном, так и в физическом мире, это позволит нам создать единую творческую вселенную для художников - онлайн, офлайн, до, во время и после шоу.
«Мы чувствуем, что находимся только на вершине айсберга того, что может предложить Unreal Engine. Он отвечает на давнюю потребность в том, чтобы дизайнеры освещения, декораций и видео могли объединить свои видения в рамках единого инструмента для совместной работы, беспрепятственно соединяя несколько передовых технологий. Мы считаем, что Unreal Engine не только централизует их рабочий процесс, но и откроет новые возможности и вдохновит новую волну инновационного сценического дизайна».