В предыдущих статьях я неоднократно уже говорил о «композитинге», но толком так и не раскрыл эту тему, разбираясь с частностями. Мы поговорили о том, что вообще такое CG и VFx, пробежались по используемым программам, посмотрели примеры визуальных эффектов, довольно-таки много времени уделили трекингу, две, даже три статьи ему посвятив (и это не предел), затронули основы анимации и работы с масками, и даже поговорили про цвет. А теперь давайте поковыряем один из главных вопросов: зачем это все нужно, и как решение этих (и других) задач помогает в создании итоговой картинки.
Композитинг (compositing) — это процесс объединения различных элементов в одно итоговое изображение. Слово композиция — однокоренное, да.
Если вы хоть раз в жизни открывали, например, Фотошоп и подставляли свое лицо к фигуре Супермена (да что там — добавляли надпись и блёстки на фотку в сториз), поздравляю, вы уже занимались композитингом!
В теории всё очень просто: берете несколько изображений, накладываете одно на другое, шаманите, чтобы они нормально сочетались и получаете новое итоговое, но на практике — эта тема практически неисчерпаемая. Что ж, попробуем как-то объять необъятное.
Про софт
Да-да, про софт уже было, но здесь пора кое-что добавить, а также кое-что уточнить, чтобы дальше не было недопониманий, когда читатель будет пытаться натянуть теорию на практику (или наоборот).
Все приложения для композитинга можно разделить на два вида:
- на основе слоев (layer-based);
- на основе нод (узлов, блок-схем — node-based).
Это принципиально разные подходы к организации интерфейса для описания взаимодействия данных.
Композитинг слоями
Первый вариант, слои — фактически цифровая аналогия послойной анимации, подхода, впервые использовавшегося на студии Уолта Диснея, когда изображение получали, совмещая один или несколько рисунков на прозрачной целлюлозе с фоновым изображением. (Небольшую иллюстрацию можно увидеть, например в архивном фильме). Или, если проще, аналог коллажа.
Сегодня этот подход реализован в таких программах, как Adobe Photoshop и Adobe After Effects, а также Apple Motion, HitFilm, Autograph и каких-то других, о которых я или забыл, или не знал никогда. Здесь все исходные данные представляются в виде слоев, которые могут размещаться друг над другом, формируя изображение (чаще всего в порядке размещения слоев). К этим слоям могут применяться эффекты, меняющие их вид (также слоями, между прочим), и маски. Кроме того есть т. н. «корректирующие слои» (adjustment layers) — эффекты, которые на них наложены, применяются ко всем слоям под ними. Слои можно группировать для удобства и повторного использования.
Такой нехитрый подход позволяет получать изображения любой сложности. А если вам говорят, что «After Effects не годится для серьезного композа», — это правда только в том смысле, что разработав какую-то комбинацию слоев и эффектов для одного случая (т. н. сетап, set-up), реплицировать его на другие аналогичные исходники — зачастую довольно муторное занятие, в остальном такое утверждение очень спорное есть.
Дело в том, что большое количество слоев, слоев вложенных друг-в-друга, отсутствие возможности видеть, что делают сразу несколько слоев (какие эффекты к ним применены) — очень ухудшает читаемость проекта, особенно для человека, не причастного к созданию оригинального сетапа. И когда проект относительно простой, слои хорошо визуализируют структуру изображения, но при усложнении композа, такая визуализация начинает работать в обратную сторону (и с этим особо ничего нельзя сделать).
Композитинг нодами
Второй вариант, ноды (узлы, блоки) — это пришло к нам из области программирования, а, если точнее, из алгоритмизации, где один из самых распространенных способов записи алгоритма был (и есть) — блок-схемы.
Главное достоинство таких схем — наглядность: есть блоки, каждый из которых представляет собой или какие-то данные (файл, цвет, список значений), или какую-то операцию (фильтр, эффект, функцию). Эти блоки объединяются в древовидную структуру, граф, где вычисление итогового результата (изображения) производтится последовательным выполнением блоков одного за другим в соответствии с заданными связями.
Такие структуры очень быстро становятся громоздкими, потому что каждая, даже самая простейшая операция, представляется в графе в виде отдельного блока, а для получения даже несложного результата, таких операций обычно нужно (намного) больше десяти. Однако именно потому, что каждая операция визуализирована, человек, даже впервые смотрящий на граф, видит всю последовательность действий и может быстро разобраться в том, что происходит в проекте. К тому же автор сетапа имеет возможность визуально группировать блоки работы с данными, что дополнительно облегчает читаемость.
Грамотно составленный граф достаточно легко использовать сразу под несколько однотипных задач именно из-за относительной простоты ориентирования в нем. Пайплайны крупных студий также строятся на определённых стандартах и требованиях, в том числе и к оформлению графов, поэтому, задачи можно почти безболезненно передавать между специалистами и отделами. И, в первую очередь, именно в этом смысле, нодовые программы гораздо лучше подходят для «серьезного композитинга».
Строго говоря, есть еще несколько причин, вроде возможностей кастомизации и расширения инструментария, наличия инструментов автоматизации и/или возможности и удобства их создания, соответствия тем или иным стандартам и т. п., но это выходит за рамки данной статьи. Здесь нам важно понять суть самого подхода, а не особенности конкретных программ.
Такой подход реализован в программах The Foundry Nuke, Blackmagic Fusion, Natron, Blender, SideFX Houdini и многих других.
Слои и ноды или пара деталей для ясности
Дальше по тексту я буду многократно употреблять слово «слои» и почти не буду вспоминать про «ноды». Чтобы не было путаницы, хочу оговориться сразу: ниже речь идет не о конкретной программной реализации, а о сути процессов.
В следующих разделах используется понятие «слой» скорее как термин из физического мира, а не элемент программы. Физический мир не умеет в ноды, но отлично умеет в слои: ноды — это алгоритм, инструкция по аппликации в книжке; а слои — это листы бумаги на столе, из которых по этой инструкции мы вырезаем и приклеиваем бумажные элементы-слои на канву.
Соответственно, если посмотреть на процесс вычисления графа, то каждая нода или модифицирует входящее изображение, или накладывает на него второе изображение, верхний слой, и сразу же объединяет их в одно новое изображение, которое передается дальше по дереву. И в этом смысле понятие «слой» может применяться независимо от того, работаете вы в программе именно со слоями, или с нодами.
Композитинг — финальный этап обработки... или нет?
Если коротко, то да, можно сказать, что композитинг — это последняя стадия работы с видеоматериалом. Но, как говорила моя преподаватель по базам данных в институте, «это правда, но, правда, не вся».
Монтаж
Предварительный монтаж видеоматериала всегда выполняется до начала любой другой постобработки. Это позволяет передать в дальнейшую работу только тот видеоматериал, который нужен для фильма или ролика, а не все, что было отснято.
Процесс постобработки видео не линеен, а цикличен, и бывают, конечно, (ужасные) случаи, когда в разгар изготовления графики, например, монтаж меняется и материал добавляется, или уже готовые планы выкидываются, но в любом случае предварительный монтаж всегда предшествует дальнейшей обработке.
Фильмы и ролики снимаются планами (также часто можно услышать слово «шот» от английского “shot”) — это непрерывный видеофрагмент от включения записи камеры до выключения. На монтаже, соответственно, он подрезается вначале и в конце, и получается «непрерывный фрагмент от склейки до склейки (или перехода)». Склейка, место стыка двух планов, в англоязычном (и нередко отечественном) продакшене называется “cut”, а переход (плавная, не мгновенная смена плана) звучит как “transition”.
Почти каждый план всегда снимается несколькими дублями (повторная съемка того же плана, версия), а на монтаже выбирается лучший для каждого плана и подрезается так, чтобы получилась связная история.
Для визуальных эффектов после монтажа высчитываются конформы (“conform”) — только необходимые и подрезанные по времени версии каждого плана, вошедшие в монтаж. Довольно часто они высчитываются с небольшим запасом по краям и с таким же запасом передаются в дальнейшую обработку. Поэтому, если уже после постобработки монтажер, режиссер или продюсер решат чуть поправить монтаж (сдвинуть склейку на пару кадров, например), у них будет материал с запасом.
Но может случиться и так, что монтаж будет переделан основательно (например, после неудачных предпоказов) — и в этом случае в новую версию сборки могут войти совсем другие фрагменты отснятого материала, и постобработку придется начинать заново (не то, чтобы с нуля, но, вполне вероятно, что до 90% работ придется повторить).
Так что монтаж, хоть технически и предшествует пост-обработке, может фактически считаться завершающим этапом.
Цветокоррекция
Она может выполняться до всех визуальных эффектов или после.
Если цветокоррекция выполняется до дальнейшей пост-обработки, то после монтажа материал уходит на цветокоррекцию, а затем высчитываются конформы уже в финальном цвете.
Если же цветокоррекцию планируется делать после графики, то с монтажа высчитываются конформы в неком универсальном цветовом пространстве, вроде ACES2065-1. Для композитинга такой материал может приводиться к другому цветовому пространству, вроде ACEScg, а после снова переводится в исходное и высчитывается в файлы, отправляющиеся на цветокоррекцию.
Какой подход выбрать — это зависит от конкретной ситуации. Возможно, есть люди, которые скажут, что есть только один правильный путь, но на практике я постоянно имею дело и с одним, и с другим вариантом. Это определяется пайплайном (рабочим процессом, порядком решения задач) студии или агентства, ответственного за выпуск продукта.
В одних случаях за выпуск фильма или ролика может отвечать студия, которая сама выполняет монтаж и цветокоррекцию (или имеет долгосрочный контракт на всю продолжительность проекта с монтажерами и специалистами по цветокоррекции). Тогда чаще всего на графику передаются необработанные видеоматериалы. Пока подрядчик вносит изменения в видео, студия параллельно занимается цветокоррекцией на исходниках, согласовывая материал с заказчиком. Когда видео с графикой к ним возвращается, эти материалы просто заменяют исходные в монтаже, к ним применяется уже сделанная цветокоррекция, донастраивается при необходимости и монтаж высчитывается в финальный продукт. Подобный подход чаще встречается в производстве фильмов и сериалов.
В других случаях ответственная за выпуск студия или агентство имеет краткосрочные контракты с каждым подрядчиком и процесс разбит на максимально короткие последовательные этапы: ролик монтируется — монтаж согласовывается с заказчиком, фиксируется, подрядчик заканчивает работу; выполняется цветокоррекция — согласование, фиксация, работа завершена; создается графика — то же самое. Параллельно как правило идет процесс создания звуковой дорожки. Этот подход распространен при работе над рекламными роликами.
Работа с финальным цветом мне лично более комфортна, но строго говоря, выполнять пост-обработку до цветокоррекции я считаю более правильным и универсальным подходом. И в любом случае я по возможности запрашиваю и исходники без цветокоррекции — как минимум для трекинга, масок гораздо лучше подходит материал, который можно обработать нужным образом с технической, а не художественной точки зрения.
Так что, хоть композитинг и являет собой последнюю стадию обработки видеоматериала, строго говоря, после него некоторые завершающие манипуляции с видео еще возможны. Правда, скорее всего, большая их часть завершится до того, как будет закончен композитинг, а цвет и монтаж будут редактироваться уже на уровне небольших правок.
И даже если в этом месте остается пространство для споров насчет того, является ли композитинг завершающим этапом всей пост-обработки, то, что композитинг — это завершающий этап визуальных эффектов практически бесспорно... если цветокоррекцию оставить за скобками... ಥ_ಥ
Задачи, решаемые композитингом
Как я уже говорил выше, все, что касается сведения элементов изображения в одну итоговую картинку — это композитинг. Процесс получения этой картинки с одной стороны можно разбить на элементарные действия, вроде «сделать маску области», «проанимировать маску», «притречить изображение из другого файла к области изображения», «отрегулировать цвет элемента (слоя)» — и мы быстро поймём, что все эти шаги мы уже как раз рассматривали в предыдущих статьях. Процесс композитинга же (но не только он один) как раз и заключается в комбинации набора этих действий чтобы получить... ну вы уже поняли (✿◠‿◠)
Тем не менее есть несколько достаточно устойчивых групп решаемых задач, выделяемых на практике. Довольно часто специалисты по композитингу решают задачи только одной группы, поэтому, пожалуй, можно их назвать «специализациями». Важно понимать, что четкого разделения между ними нет — условная общая (пограничная) область, куда могут попасть наборы конкретных задач проекта, довольно широка.
Клинап (clean-up)
Или «ретушь» по-нашему. Это удаление нежелательных деталей из изображения. То же самое, что со статичными картинками, только в анимации.
Задачи по ретуши возникают практически на каждом проекте: в отснятом материале всегда есть, что улучшить, убрав очередную деталь, отделяющую картинку от идеала. Маркеры, морщины, ярлыки на одежде, логотипы и вывески, грязь и пыль, царапины, лишние люди, попавшие в кадр конструкции, вспомогательные элементы и много чего еще может случайно или намеренно размещаться в кадре при съемке, но быть ненужным (или недопустимым) в финальном материале.
Принципиально решение этой группы задач мало чем отличается от других. Что, пожалуй, позволяет их выделить в отдельную группу — это повышенные требования к усидчивости и аккуратности композера: работа, прямо скажем, довольно монотонная и объемная, потому что даже небольшие промашки, скорее всего будут заметны: дрожание участка изображения, отличие цвета или повторение элементов. Иногда приходится вручную подстраивать эффект в каждом кадре видеоматериала.
Из-за требований ко времени эти задачи чаще всего распараллеливают с остальными работами по визуальным эффектам, что также естественным образом приводит к тому, что клинап становится отдельным процессом.
Композитинг съемочного материала
Важные составляющие композитинга любого съемочного материала — это необходимость трекинга и создания масок. В некоторых случаях, если съемка велась со специальным оборудованием, трекинг может не потребоваться, но это, скорее, исключения.
На средних и больших проектах трекингом и созданием масок могут заниматься отдельные специально обученные люди или отделы (вообще на средних и больших проектах почти каждый вид работы, который мы тут рассматривали, распараллеливается между узкими специалистами), на небольших проектах эту группу задач может выполнять один человек.
Съемочный материал может объединяться с другим подготовленным съемочным материалом, или с элементами, созданными при помощи компьютерной графики. Обычно это может быть замена неба и/или части локаций, замена и/или добавление объектов в съемочный план (например, робот вместо актера или центра управления космическими полетами вместо кустов смородины), замена лица/головы, одежды, добавление фона/окружения вместо студийной выгородки, и т. п.
Основная задача композитинга тут — обеспечить визуальное соответствие отснятого материала и привнесенных в него элементов. Нужно свести все элементы изображения по масштабу, цвету, степени расфокусировки и другим артефактам камеры (вроде шума, аберраций, размытия), характеру света и теней, глубине расположения элементов, движению и т. п.
В отличие от следующего пункта, управляющим ориентиром служит исходный видеоматериал — какая бы ни была красивая графика (или не графика), добавляемая в изображение, если она вываливается из общей картинки, ее надо приводить к этой самой картинке, даже если для этого требуется ее размыть, убрать детализацию, цвета и всячески «отодвинуть на второй план».
Композитинг компьютерной графики
Эта специализация отличается от остальных прежде всего тем, что (проще говоря) композер имеет дело не с финальным изображением, которое нужно разложить на слои, а со слоями, из которых надо собрать финальное изображение.
При визуализации (рендеринге, rendering) графики генерируются изображения, для которых существуют уже все основные маски, слои глубины, каналы теней, отражений, рассеянного света, текстурных координат и т. п. Также доступна вся информация о 3D-сцене и камерах — не нужно ничего тречить, данные просто экспортируются в композитинговую программу.
Композер в данном случае имеет возможность чуть ли не до неузнаваемости изменить отрендеренный материал, добиваясь нужного визуального эффекта. Если в предыдущем случае художнинку было необходимо добиваться соответствия съемочному материалу (поверх всей творческой части работы), то здесь задача специалиста — получить нужный визуальный эффект, имея почти безграничный контроль над всем входящим материалом.
Ориентирами в данном случае могут служить концепт-арты, фотографии реальных объектов и/или локаций, изображения и фрагменты других работ, отражающих видение авторов ролика.
В этом плане, кстати, работы по композитингу начинают переплетаться (иногда и заменять собой) работы по финальной цветокоррекции.
И тут также не могу не оговориться, чтобы быть точным: в английском языке есть понятие „color correction“, подразумевающее исправление цвета отснятого материала с приведением его к некому единому (среди соседних планов сцены) нейтральному виду, а есть „color grading“, обозначающее заключительный этап работы с цветом, когда специалист настраивает изображение так, чтобы вызывать у зрителя определенные эмоции, выделять акценты и маскировать второстепеные детали. В русском же языке есть просто цветокоррекция, хотя нередко для уточнения специалистами используется заимствование — «грейдинг».
Моушен-дизайн (motion design)
Технически, это не только композитинг — это направление в компьютерной графике и анимации вообще. В отличие от графики и анимации, основывающейся на классической 2D-анимации и/или реалиситчного подхода, в той или иной степени имитирующего окружающий нас мир, моушен-дизайн основывается на принципах графического дизайна. Инфографика, интерфейсы пользователя, различная анимация логотипов и текста, массивов мелких элементов (т. н. «шурешки») — все это (и многое другое) моушен-дизайн.
Здесь я его упоминаю потому, что нередко работы в этом направлении делались и делаются с помощью только композитингового софта (вроде After Effects и различных плагинов к нему). В остальном это направление подразумевает, что гораздо больше усилий специалист прилагает к анимации элементов и параметров, чем композитингу как «сведению изображения». Но сведение также присутствует и играет важную роль.
Композитинг 2D-анимации (мультипликации)
Цифровой композитинг классической анимации максимально похож на тот самый процесс, который приведен вначале как пример послойного композитинга, изобретенного в студии Диснея. Программы вроде OpenToonz и Toon Boom (а кто-то еще даже работает в Adobe/Macromedia Flash) реализуют функционал не только композитинга, но и заливки, работы с контурами, рисования, иногда и интерполированной анимации, хотя классическая анимация подразумевает только ручную прорисовку кадров.
Композитинг 180⁰/360⁰
Это не столько отдельный набор задач, сколько определенная специфика решения задач описанных выше групп. Для сведения панорамных видео может использоваться специальное дополнительное оборудование вроде очков виртуальной реальности (VR) или особые настройки программного монитора, позволяющего рассматривать материал в адекватном представлении.
Как правило, панорамный материал предполагает, что зритель может в любой момент смотреть в любую область изображения, так что, например, задача направлять внимание на ту или иную область изображения здесь имеет совсем другой вид. Подходы к решению задач, вроде интеграции новых элементов, клин-ап и многие другие обладают своей спецификой.
Стереокомпозитинг
Здесь и специфика обычных задач, и ряд своих уникальных.
Например, вот отсняли мы материал с двух камер — эти камеры расположены близко, но чуть по-разному. И представьте, что в кадре, скажем, блестящий металл, стекло или вода в лучах солнца, которая создает характерные оптические блики. Только у каждой камеры эти блики будут свои, и далеко не всегда они будут выглядеть корректно для зрителя в очках. Придется чистить, сводить к единому варианту. Нюанс!
Или вот решили снимать на одну камеру, чтобы было проще... Но, если на выходе нужно получить 3D, значит надо сажать целую команду специалистов, которые разрежут каждый съемочный план на слои, разместят их «в глубину». Вот и принципиально новая задача. А потом еще эту надо аппликацию надо корректно учесть и свести, когда будут добавляться элементы компьютерной графики. Опять нюанс.
Так или иначе все эти категории в той или иной степени условны, схожие или даже одинаковые задачи могут встречаться сразу в нескольких категориях, другие будут уникальны. К тому же приведенный список — не исчерпывающий. Большие студии, переваривающие огромный поток видеоматериала знают толк в разбиении задач по композитингу на умопомрачительное количество видов и этапов, что диктуется необходимостью выстраивания эффективного конвейера пост-обработки материала.
Пожалуй, этой информации пока достаточно, чтобы прояснить основные моменты, касающиеся композитинга как процесса, объединяющего и утилизирующего все отдельные техники, которые мы рассмотрели в предыдущих статьях. Я надеюсь, что это не последняя статья по темам, но времени сейчас совсем мало. В связи с этим у меня есть небольшой анонс-предложение здесь же на канале, а также на канале в Телеграме.
Как водится, если у вас появились вопросы, замечания или предложения, пишите в комментариях — прочитаю, учту, отреагирую. Подписывайтесь, не пропускайте интересную информацию, рассказывайте своим знакомым — вдруг подобный материал будет кому-нибудь еще интересен и/или полезен.
Всего хорошего!