Пока Кузька, Нафаня и Тихоня развлекают зрителей в кинотеатрах, кот Матроскин с Шариком начинают наводить порядок в Простоквашино, готовясь к встрече Нового года.
Мы в студии «Асимметрик» уже приступили к работе над второй частью полнометражного фильма — она будет посвящена праздничным каникулам в уже знакомой деревушке. Поскольку съёмки частично проходили в тёплое время года, зимнюю обстановку предстоит достраивать вручную.
Одна из ключевых задач — создание снежного покрова. Настоящего, объёмного — который лежит на крышах, ветках, искрится, оседает под ногами. В ходе съёмок такого снега сильно не хватало — зима выдалась тёплая. Чтобы превратить деревню в зимнюю сказку, мы полностью переносим её в цифровой мир.
Как это происходит?
Сначала для каждого дома, забора и других объектов, видимых в кадре, мы создаём цифровых двойников, повторяющих их форму и пропорции. Это так называемые прокси-модели — они применяются для решения вспомогательных задач, в данном случае помогая правильно расположить и двигать снег, но не идут в финальный рендер. Затем с помощью программы Houdini, ориентируясь на положение прокси-моделей, мы добавляем снег туда, где нужно, в тех объёмах, которые требуются.
Яркий пример — деревья, на которых снег при съёмке отсутствовал вовсе. Их мы полностью заменяем на компьютерные, а потом симулим снежинки в Houdini. Весь процесс напоминает сборку физического конструктора: мы настраиваем, как снег будет ложиться на ветки, где заметёт дерево чуть больше, как изменится поверхность снега у дерева, когда рядом с ним потопчутся герои — Шарик в кедах, Матроскин — в валенках. Все, даже самые мелкие изменения, очень точечно настраиваются в Houdini.
Также для создания зимней атмосферы практически в каждом натурном кадре понадобится падающий снег. Казалось бы, задача несложная — существует масса стоковых роликов с ним. Но когда камера активно движется, применить сток проблематично: зритель сразу заметит несоответствие движения камеры и снежинок. Поэтому мы делаем 3D-трекинг и воссоздаём камеру в трёхмерном пространстве со всеми её оптическими параметрами — для этого используем PFTrack, а затем в этой виртуальной камере симулируем падающий снег — снова в Houdini.
Но снегом — даже таким подробным — работа не ограничивается. Мы разобрали только статику и движение. Есть ещё масса нюансов взаимодействия с реальными актёрами и 3D-персонажами. Как сделать так, чтобы герои «правильно» играли в снежки: комья летели, разбивались, оставляли следы на одежде? И так, чтобы Шарик правдоподобно нырял в сугроб — снег взлетал и оседал при каждом движении... И так, чтобы пар изо рта на морозе шёл по-настоящему, а зритель в это поверил...
Всё это — ручная работа, кадр за кадром.
«Но ведь можно было бы использовать не стоки, а нейросети», — предложат некоторые. Идея интересная и в перспективе сильно упростила бы производство картины.
На экране смартфона сгенерированный результат выглядит эффектно. Но на большом киноэкране магия исчезает. При ближайшем рассмотрении качество картинки не дотягивает до киношного. На мелких деталях мы видим «перешарпленное стробящее мыло» с компрессией — будто ролик скачали с YouTube в плохом качестве. Существуют способы улучшения и апскейла, но стопроцентной предсказуемости они не дают. Поэтому в интернете так много нейрослопа, который создаёт иллюзию, что нейронки рулят.
В чистом виде нейросети для кино пока не работают. Зато как инструмент — вполне. Мы активно используем разные модели ИИ для быстрых черновиков, поиска вариантов, создания референсов и ускорения промежуточных этапов. По нашему опыту, гибридные кадры — частично из ИИ, частично из традиционных методов — ускоряют работу и уменьшают бюджет. Но финальные кадры всегда доделываются вручную. Только ручная доводка и полировка каждого кадра гарантируют киношное качество. Этим и ценен наш труд.