Генеративные нейросети заполнили социальные сети, стали частью индустрии рекламы, а теперь постепенно проникают в производство кино и сериалов. В России появляется все больше случаев, когда нейросети помогали снимать фильмы, а на сайтах по поиску работы чаще публикуют вакансии ИИ-художников. И эти новые профессии не просто работа по клику! Кинопоиск поговорил со специалистами по визуальным эффектам о том, что происходит в индустрии сейчас, как нейроинструменты изменят их работу и какие новые профессии появятся благодаря искусственному интеллекту.
В июле CEO Netflix Тед Сарандос рассказал о первом оригинальном продукте стриминга, для съемок которого использовали нейросети. Речь идет об аргентинском научно-фантастическом «Этернавте» и сцене с разрушением здания в Буэнос-Айресе. По словам Сарандоса, AI-художники сделали работу дешевле и «в десять раз быстрее» по сравнению с более традиционными подходами. Одним фильмом платформа вряд ли ограничится. Известно, что Netflix уже экспериментирует с нейроредактором Runway и изучает, как внедрить его в производственный процесс.
Пока что в отечественной кино- и сериальной индустрии никто не спешит делать такие громкие заявления, однако все знают, что новые инструменты уже некоторое время помогают во время съемок и в других самых разных направлениях. Так, художница по костюмам Наталья Каневская прогоняла эскизы для фильма «Чебурашка» через нейросеть, чтобы получить новые идеи. ИИ изменял эскизы непредсказуемым образом, например надувал штаны, потом эти решения добавляли в финальный дизайн.
Создание концептов и визуального материала — довольно распространенный нейрокейс. Так поступали при работе над шоу «Призраки. Природа страха» для Okko и готовящимся сериалом «Трудно быть Богом». Еще одна область, где работают с ИИ, — превизуализации, то есть упрощенное представление сцены, которое помогает участникам съемки понять, как она должна в итоге выглядеть. Превизуализации в нейронках генерировали во время производства сказки «Последний богатырь. Наследие» и комедии «Дорогая, я больше не перезвоню».
Есть несколько кейсов, когда в нейросетях создавали отдельные сцены. В сериале «Мирный атом» сгенерировали несколько полноценных шотов, включая сцену заседания ООН; в ней только двое актеров в кадре были реальными. Также создатели проекта исправляли брак на уже отснятом материале. На отснятом материале для фильма «Вызов» были битые пиксели. Фильм снимали на МКС, и космическая радиация, по словам режиссера Клима Шипенко, повлияла на матрицу камеры. Брак очень быстро удалили с помощью нейросетей.
Профессионалы, с которыми поговорил Кинопоиск, считают, что нейросети при производстве кино и сериалов будут использовать все чаще. Хотя на данный момент у нейроинструментов много недостатков, которые ограничивают их реальное применение в кино. Нейросети серьезно повлияют на производственный процесс, считают специалисты, но профессиональная экспертиза и работа с более традиционными инструментами никуда не денется.
Дмитрий Токояков
VFX-продюсер Плюс Студии, занимался эффектами в фильмах «Особо опасен», «Выживший», «Черная молния», «Высоцкий. Спасибо, что живой», «Метро», «Легенда № 17» и «Вторжение», фильмами и сериалами Плюс Студии. Член Американской киноакадемии
Илья Шутов
Владелец студии Black Point, супервайзер проектов «Волшебный участок», «Перевал Дятлова», «Аванпост», «Эпидемия», креативный продюсер «Кибердеревни»
Ксения Галушкина
ИИ-художница и концепт-художница, ведущая Telegram-канала «Нейронично»
Что происходит в индустрии сейчас
Токояков: Мы тестируем возможности разных инструментов и разрабатываем ряд проектов с нейросетями. Речь идет о проектах следующего года и позже, сейчас мы пока не можем о них говорить.
Но можем рассказать, что недавно работали над клипом Bearwolf для сериала «Этерна». Это технологически сложная съемка — нужно было заранее подготовить контент, подумать, как он будет сочетаться с декорациями, — а времени на подготовку было мало. Некоторые элементы, в том числе фоны, разрабатывались с помощью нейросетей и дорабатывались нашими художниками. С помощью ИИ мы разработали новое видение локации древней Гальтары в ночном варианте. Если бы это все делалось более традиционным подходом, мы бы просто не успели.
В дальнейшем в нашей профессиональной работе будет развиваться такое гибридное применение. Допустим, есть уже отснятый пейзаж, и в него нужно вставить летящего дракона. Подготовить модель дракона, наложить на нее текстуры, подготовить риг, вставить в кадр — это все много разных специалистов, много этапов. С помощью нейросетей сделать это получится быстрее и дешевле.
Уже изменилось взаимодействие с режиссерами, которые раньше садились с художниками и обсуждали: «Давай вот тут попробуем нарисовать такую локацию». А сейчас все чаще режиссер приходит уже с пачкой сгенерированных в Midjourney картинок и говорит: «Вот здесь мне нравится, но давайте здесь переделаем». И дальше решаются технические вопросы: как это перенести в декорации, как сделать графику.
Галушкина: Где-то полгода назад была волна ИИ-хайпа. Пришло много людей в видео, они попробовали сделать несколько заказов, но поняли, что нужен бэкграунд: база по композиции, по цвету и свету, камере и монтажу. Это не получить одной кнопкой. Надо понимать, как работает клинап, как довести работу до финала и почистить артефакты. Качество, которое прокатывало полгода назад, сейчас уже не примут. Такие резкие скачки происходят каждые месяц-полтора и связаны с появлением новых инструментов. Нужно постоянно быть в потоке, учиться и перестраиваться.
Сейчас на российском рынке видеоспециалистов действует несколько сотен человек, которые раньше занимались нейронками в качестве хобби, а теперь это стало для них дополнительным заработком. Это большой, пока закрытый рынок. Кто-то на нем выполняет мелкие заказы по рекламе, кто-то делает короткометражные фильмы на пять минут.
Рынок нестабильный. Есть внутренняя шутка, что видео одного хрона и на одну тему может стоить 20 000 рублей, а может 200 000.
Ксения Галушкина показывает результаты своей работы с ИИ. День на генерацию 2D-концептов предметов и модульного окружения в ChatGPT и Sora, полтора дня — на генерацию 3D в нейронке Hunyuan 2.5, полтора дня — на сборку и настройку света в Unreal Engine
Я уверена, что в ближайшее время ИИ и классический пайплайн будут все сильнее сплетаться. Например, 3D-художник продолжает заниматься 3D, но теперь генерит виды сбоку, сзади, с разных ракурсов из 2D-концепта. А нейрохудожники работают с ретушью, чтобы убирать артефакты, которые нейросеть дает при генерации пальцев или глаз.
В некоторых студиях запрещено использовать нейросети, в некоторых можно использовать только те, что дообучены на своем материале, в некоторых можно использовать в одном проекте, а в другом нельзя. Это тонкий лед. Нет понятной системы. Пока неясно, как об этом говорить, поэтому многие художники стараются не афишировать то, что используют ИИ-инструменты. А вот в разработке казуальных игр нейроинструменты стали обязательными. Там уже нет разделения на нейрохудожников и традиционных художников.
Видео making of анимации Ксении Галушкиной «Закат империи. Похороны Александра Македонского, царя царей»
Шутов: Мы использовали нейросети, чтобы ускорить работу концепт-художников. Например, генерировали большое количество картинок, выбирали подходящие — по концепции кадра, по ощущениям, по интересным элементам, — а потом дорабатывали. Еще делали детализацию фонов, то есть готовили трехмерную сцену с нужной композицией, но без прорисовки, прогоняли ее через нейронки, чтобы они добавили детали. Некоторые кусочки вырезали, обрисовывали и добавляли на общий мейт.
В индустрии сейчас на наших глазах возникает колоссальный спрос на специалистов по ИИ, и он будет только расти.
Много команд занимаются генерацией: некоторые разбираются в классической графике, некоторые ничего в этом не понимают. Нет такого, что какая-то одна команда накопила много опыта и обошла остальные. Обновления инструментов выходят каждые три месяца, и каждое такое обновление усредняет накопленный опыт. Но, конечно, у людей, которые эти год-полтора набивали руку, опыта больше. Они понимают, каким путем нужно пойти, чтобы получить нужный результат.
Что можно и чего нельзя делать с помощью нейросетей
Токояков: Для производства кино нынешних возможностей ИИ еще недостаточно. Самые лучшие нейросети выдают только HD-качество, в 4К-проектах такие кадры будут выглядеть замыленными. Сейчас это похоже на фотоаппарат-мыльницу, у которого есть только вспышка и кнопка съемки. А для кино нужна профессиональная камера с кучей разных крутилок.
Граница между нейросетями для развлекательного контента и нейросетями в кино находится в зоне управляемости. В кино, как правило, все делается сценами. Сгенерированный контент не может стоять изолированным кадром, он должен находиться внутри сцены и соблюдать ее стилистику. Если ИИ генерит, что тебе нравится, то все отлично. Но если, допустим, пятый человек справа не подходит, то отдельно его поменять сложно.
В клипе Bearwolf была использована сцена из сериала с Енниолем, ее кадрировали и поставили задачу нейросети сделать отлет от этого кадра наверх
Видео после прогона через ИИ улучшалось уже другими инструментами, повышалась его четкость, доводилась зернистость до кинокачества. Ускоренный реверс поставили в монтаж
Если сгенерированный объект появляется в квартире главного героя, то он должен, во-первых, подходить к интерьеру, во-вторых, выглядеть консистентно. То есть если на стене висят часы, значит, они должны там висеть и на других кадрах. У Runway недавно появилась модель, которая позволяет поменять персонажа, его одежду или объект в кадре. Скажем, в углу стола стоит лампа, а нам там нужна колонка. С точки зрения применения в кино это очень хорошо!
Шутов: Мы экспериментируем над оживлением фонов. Допустим, рисуем облака в летний день и отправляем в нейронку их анимировать. Я знаю много случаев, когда в нейросетях студии обновляли свою стоковую базу. Например, мы анимировали дымы при помощи нейронок, а затем внедряли уже в снятый кадр привычными методами композитинга.
Генеративные модели не всегда могут дать нужный результат, и ты фактически вынужден соглашаться с тем, что создала нейросеть. В абстрактных задачах, например чтобы сгенерировать тропический остров для рекламного ролика, это можно использовать. Сложнее, когда речь идет про конкретную задачу. Вы сделали для заказчика ролик, где машина красиво едет по полю с колосьями, а он скажет: «Не нравятся колосья, а машина на наш „Москвич“ не похожа». Но вы не можете просто исправить колосья, нужно заново генерировать всю сцену. Хотя, конечно, все понимают, что полностью контролируемая генерация скоро станет возможной — неясно, как скоро, год, два года или пять лет до полного контроля.
Ограничения сейчас есть и в плане повествования, и в плане графики. Нельзя сделать кадры длиннее 10 секунд, а на кадрах по 7–10 секунд начинаются галлюцинации, сложно создать постоянного персонажа или получить необычные кадры. Нейросети обучены на уже существующих изображениях и ими же ограничены. Недавно мы пытались получить кадр с всадником, который двигается слева направо в одной проекции. Но получалось только или в лицо, или в три четверти, потому что в три четверти снимают часто, а вот ровно сбоку намного реже.
Галушкина: Нейросети здорово помогают с финализацией картинки — с прорисовкой деталей, полноценного освещения и текстур. Они закрывают вопрос, на который раньше уходила неделя, поэтому я могу концентрироваться на идее иллюстрации и сценарии. Еще они упрощают поиск стилей. Можно комбинировать генерацию с рисованием: что-то сделать нейронкой, поверх этого нарисовать руками, потом снова генерация, добавить фильтры и постобработку.
Нейросети облегчили мою работу над комиксами, которые обычно требуют много месяцев работы. Теперь я могу нарисовать персонажа с нескольких ракурсов, а потом сгенерировать его в любой позе. Облегчилась задача по расширению картинки, которую раньше дорисовывали руками, искали фотографии, иногда специально ехали на локацию и доснимали людей и места.
Ксения показывает, как можно оживлять сгенерированных 3D-персонажей без рига (виртуального скелета) из базовой позы
Однако у нейросетей есть определенные паттерны. Например, они в основном генерируют перспективу с одной точкой входа. Иногда это попадает в художественную задумку, а иногда нет. Они часто ошибаются в сценах с несколькими персонажами. В них есть направляющие: куда персонаж смотрит, куда он указывает. Но нейронка делает это абсолютно рандомно. В общем, везде нужна доработка человеком. Если все полетит нейронным пайплайном, то на выходе будет неконтролируемое качество, то есть AI Slop. Зритель мгновенно распознает, что тут нет ни задумки, ни визуального стиля, ни монтажа нормального.
Как генеративные нейросети меняют существующие профессии
Токояков:
Концепт-артисты
Они никуда не исчезнут. Просто раньше художник тратил на быстрый концепт день или два, а сейчас он за это время сделает десять штук. Нейросеть может сгенерировать, но если ты не понимаешь, что нужно получить, то ничего не выйдет.
Это как купить в магазине все виды кисточек и красок, а потом стоять перед пустым холстом.
Клинапер
Чистят отснятый материал, чтобы тот соответствовал художественному замыслу. Например, во время съемок исторического фильма в центре Петербурга неизбежно в кадр попадут домофоны, дорожные знаки и пластиковые окна. Посмотрите любой голливудский фильм — в титрах будет гигантский блок с индийскими именами и фамилиями. Это все часть огромной индустрии клинапа в Индии. Но с развитием нейросетей такая механическая, рутинная работа начнет исчезать.
Моделлеры
Создают 3D-модели для сцены, накладывают на них текстуры и расставляют в кадре. Например, в серии «Смешариков» деревья, камни, шкафы в каждой локации — это 3D-модели. Уже появились нейросети, которые делают модели. Студии их не используют, потому что пока остаются технические нюансы и баги. Но это точно будет развиваться.
Галушкина:
Универсальные художники
10–15 лет назад были художники, которые рисовали только персонажей. Локациями и предметами они не занимались. Пять лет назад чаще стали искать более универсальных специалистов. С нейросетями же один человек, который рисовал только персонажей, сможет делать и локации, и некоторую анимацию на них, хотя это не было его специализацией. Я думаю, со временем 2D и 3D начнут склеиваться в одну профессию. Художники будут делать наполовину 2D-, наполовину 3D-концепты.
Шутов:
Все профессии останутся
Никакие профессии не умрут, но для некоторых станет сильно меньше работы. А другим придется совмещать свою профессию с другой работой, решать больше сложных комплексных задач, совмещая разные навыки. Из-за ускорения рабочих процессов при помощи нейронок и постоянного давления со стороны заказчика и внешней среды (с отсылками на то, что кто-то уже это хорошо и быстро сделал), есть риск того, что возрастет давление на художников графики и нервная нагрузка.
Новые профессии, которые могут создать нейросети
Шутов:
ИИ-режиссер
Возможно, в будущем произойдет дробление: появятся ИИ-оператор, ИИ-режиссер, ИИ-звукорежиссер. Пока сложно сказать, чем они будут заниматься. Какие из них окажутся более востребованными, зависит от зрителя. Если он придет проголосовать рублем в кинотеатр, на стриминг-платформу и скажет: «Нет труда каскадеров, актеров, режиссеров — это все сгенерированно нейросетью, платить за это не буду» — то нейросети останутся на уровне инструментов, которые облегчают нам жизнь. А если же скажет: «Классная история, весело смотреть — какая разница, как это снято», — то, конечно, это все хлынет дальше.
Токояков:
ИИ-артист
Это люди с бэкграундом из традиционной графики, которые все делают при помощи нейросетей. Они умеют обращаться с существующими инструментами и следят за появлением новых, умеют пользоваться разными возможностями в одной задаче. Этот человек может быстро выполнить специфическую работу, над которой пятеро могли работать месяц.
Галушкина:
Нейроинфлюенсер
Это сгенерированный аватар, нейроблогер. За таким инфлюенсером может стоять как один человек, так и целая команда по маркетингу и дизайну.
Короткие тесты сгенерированного персонажа
Как ИИ изменят индустрию
Токояков: Сейчас все мы находимся в процессе смены курса, экспериментируем и привыкаем к новым инструментам. Есть и традиционные специалисты (аниматоры, концепт-художники и так далее), и новая каста с бэкграундом из традиционной графики, но ориентированная на нейросети. В устоявшихся студиях умение работать, например, в Runway сейчас будет большим плюсом, но пока оно не является решающим аргументом.
Этапные изменения происходят медленно. Думаю, на переход понадобится еще год-полтора.
Во-первых, любая студия компьютерной графики плотно занята проектами. Редко бывает, что месяц нет заказов, есть время перестроить пайплайн и внедрить новые инструменты. Чаще всего сдали проект, отдышались пару дней и начинают следующий. Во-вторых, нейросеть — это рулетка. Ты можешь быстро получить классный результат, а можешь остаться ни с чем. Студии не хотят подставиться перед клиентом и выбирают более безопасный путь.
Но уже были ситуации, когда клиенты с маленьким бюджетом, но большими запросами искали команду, чтобы им нагенерировали графику. Это даже не команды, а скорее группы единомышленников, специалисты по компьютерной графике на уровне джуна или мидла, молодые и смелые.
Шутов: В ИИ нужно разбираться, иначе останешься за бортом. Записали плохо звук — без паники, почистим нейросетью. Сняли сцену с тросами — никакого геморроя с зачисткой, быстро уберем их нейронкой. На следующем этапе, думаю, будут появляться нишевые инструменты, например для генерации реалистичных огня, воды и дыма. Но это все еще инструмент, как «Фотошоп». Чтобы стать профессионалом, нужно учиться, чтобы понимать композицию, как ставить свет, как поставить персонажа в кадре, чтобы он передал природную эмоцию. Нейронка для большинства останется инструментом, и надо иметь навыки, чтобы отобрать в генерациях наиболее подходящий и художественно уместный результат. Для этого потребуется классическое художественное образование.
Отрывок из спешела «Кибертакси» с рекламным роликом создан с помощью ИИ-генераций
Появятся вопросы, как оценивать труд. Как давать награду за лучший костюм, если его, возможно, сгенерировала нейронка?
В чем труд костюмера? Что он промты правильно писал или что он придумал идею, написал промт, скомбинировал результаты, придумал, как все это пошить? Чья заслуга — модели, которая сгенерировала, или человека, который отобрал?
Чтобы ситуация устаканилась, потребуется от года до трех лет, а то и семь лет. Но все будет зависеть от развития сервисов: непонятно, выйдут ли нейронки на плато развития или дальше с огромной скоростью будут развиваться. Сможет ли ИИ через полгода выдавать видео в 16 битах без сжатия? Появится ли сервис, который будет генерировать видео в высоком разрешении и с большой глубиной диапазона, но один кадр будет создаваться всю ночь, а стоит он будет, допустим, 500 долларов? Начнут ли законодатели как-то регулировать и ограничивать нейросети? Мы не знаем.
Галушкина: Нейросети ускорят работу, а значит, увеличат количество принимаемых решений. В стандартном пайплайне был перерыв между работой и обсуждением с режиссером. С новыми инструментами эти решения принимает сам исполнитель. Вместо одной локации он делает сразу три, а это больше мысленных усилий: нужно переварить, оценить, доработать, принять по каждой правильное решение.
База никуда не денется. Чтобы работать с нейросетями, нужно в ней хорошо разбираться. Я всегда рекомендую делать что-то руками. Для художника это обычное рисование, для тридэшников — лепка. Это сильно прокачивает и лучше дает понимание объема. Сценаристам нужно с нуля писать короткие рассказы. Эта практика не пропадет. Если работать только с ИИ, начнет теряться скилл.
Мы находимся на первом этапе. Это не значит, что следующие десять лет нейросети так и будут генерировать вас в стиле Ghibli. Количество перейдет в качество, появятся рукописные инструменты, разработчики будут доучивать ИИ под свои задачи. Я жду тенденцию на кастомизацию контента. Например, нейроверсии фильмов с другой концовкой. Продюсерские версии, версия какого-то блогера, который видит фильм по-другому. Каждый человек сможет снять такую концовку, которая ему нравится.
Автор: Николай Удинцев