Сижу я как-то, смотрю мультик. И тут мне приходит сообщение.
Мы хотим мультик. Ничего себе совпадение, подумал я. Заказчица хотела десятиминутный мультик в подарок на день рождения сестры - как она родилась, училась, переезжала, женилась, а за основу взять фотографии из ее жизни. Бюджет XXX и сделать надо за 2 недели.
Мне казалось, что десять минут анимации не сделать за две недели и стоили бы они минимум в 10 раз больше. Но почему бы не попробовать сократить до полутораминут и сделать это в нейросетях? Они точно ускорят работу.
Но во всех гайдах, была только информация про секретные промты, и если честно, большинство сгенерированных мультиков выглядили так себе. Смог ли я сделать хорошую анимационную историю? Тут хотел поделиться про стратегии, приемы создания роликов из ИИ с точки зрения режиссера. Особенно полезно будет для тех, кто далек от видеопродакшна, сценариев и монтажа, но хочет начать делать видео в ИИ.
P.s. если вам больше заходит видео формат и вы хотите увидеть результат, то полное видео лежит здесь: https://www.youtube.com/watch?v=c9vLPDpLxQ0
ЧТО ЗАМЕНЯЮТ НЕЙРОСЕТИ В ПРОДАКШЕНЕ
У кого же нейросети отнимут работу в продакшне в первую очередь. Творческая команда, в упрощенном виде, состоит из них: сценариста - режиссера - оператора постановщика - художественного цеха -режиссера монтажа и саунд-дизайнера. И тут вопрос, а может ли машина построить локацию, подобрать костюм или выставить свет? Может.
Но тут стоит оговорится, что, именно оператор лучше всех объяснит бездушной нейростеи, какой свет, лучше всего работают на историю, а какой ее восприятие сломает. И без этих знаний, ну что можно написать? Утренний свет, кинематографичный свет. А зачем он? Люди, работающие в профессии могут использовать нейросеть куда эффективнее, потому что понимают реальные цели, пока ai-креаторы учатся написанию правильных промтов.
И тут у меня призыв ко всей киноиндустрии - не бойтесь нейросетей, а используйте их там где они уместны. А начинающим креаторам - развиваться не в написании промтов, а в киноискусстве - изучать, свет, цвет, композицию.
Режисура
Профессии оператора и художественного цеха в анимационном видео заменяются художниками и аниматорами. А в нашем случае их заменит нейросеть, и тут мы поговорим о режиссуре и деньгах.
Сценарий уже написал заказчиком, и каким бы было видео по сценарию без режиссера? Между прочим самая высокооплачиваемая профессия из предложенных.
Ну вы знаете мяу мяу. Ожившие комиксы, где эпизоды о сменяются без связи, развития, и монтажа. Чем грешат большинство AI Видео.
Что же делает режиссер - решает, КАК ПОКАЗАТЬ историю, чтобы она максимально вызвала эмоции и была целостной. Как развивается персонаж, как сцена это раскрывает, как связаны сцены, какой будет ритм, как будет влиять музыка. Пока это не делает нейронка, это непростая работа, которая никуда не девается. Из-за этого странно, когда люди говорят что теперь качественный продукт можно сделать за 5 секунд и 5 копеек.
ГЛАВНАЯ ПРОБЛЕМА — КОНСИСТЕНТНОСТЬ
Есть одна проблемка в ИИ-продакшне. У нейросетей плохая память. Каждая генерация изменяет персонажа, фон и элементы. И нам требуется как-то это контролировать. Единство элементов называется - КОНСИСТЕНТНОСТЬ.
Есть нейросеть, которая хорошо сохраняет детали - Nano Banana. Но допустим у вас есть сцена из трех планов. Если создадите картинку, и на следущем плане переместите персонажа, третий план все равно будет иметь ту же проблему. Например если у персонажа не видны нижняя часть тела- ему придется придумать новую, и тоже самое может быть с пространством за персонажем.
Тут можно взять подход из классической анимации - Там есть отдельные художники персонажей и локаций. Я также разделил эти задачи: Просто брал фото локации и писал: Сделай в стиле пиксар, в случае персонажа: на белом фоне в полный рост. Так детали персонажей и локаций не терялись.
Как писать промты.
Хочется закрыть этот вопрос, у нас уже книжки выходят со списком промтов. Я не ИИ-инженер, но мне кажется вам не надо учится писать промты, ведь именно нейросети учатся быстрее людей.
Я использую нейросеть perplexity - которая имеет возможность создавать пространства и искать в интернете. И создал пространство, которая называется: Создаем промты
После чего попросил найти лучшие приемы создания промтов для нейросетей, в которых я буду работать - отдельную беседу для Нано Банана и отдельную Беседу для гугл вео. В начале беседы я написал: Проведи анализ инструкций, как писать промты для нейросети с целью создания кинематографичной консистентной мультипликации, создай мега-промт для этого и в дальнейшем пиши максимально развернутые промты исходя из моих задач. Он провел поиск, составил промт. И дальше я ему просто описывал задачу простым языком, и получал готовое описание сцен.
МОНТАЖ — ПРАВИЛА И ТЕХНИКИ
Следующее, о чем совершенно не знают свежеиспеченные ИИ-креэйторы, это монтаж. Большую часть монтажа режиссер продумывает на этапе подготовки.
Например Сцена: мы видим здание больницы, после людей сидящих в палате, а потом мы видим ребенка, который улыбается. Как склейки сделать плавными и незаметными.
Самый просто способ, это открыть любой мультик, найти похожие сцены и повторить склейки. Но, лучше чтобы вы понимали правила монтажа. Их все описал наш режиссер Лев Кулешов, просто введите правила монтажа по Кулешову и изучайте их.
Собственно тут передо мной стоит две задачи, монтаж будет внутри сцены, и между сценами. Тут все было просто - внутри сцены я монтировал по крупности и движению, а эпизоды я склеивал по движением, или матчкатом - это когда следующий кадр по форме похож на предыдущий.
РЕЖИССЕРСКИЙ СЦЕНАРИЙ
У нас есть сценарий, мы задумываемся какой монтаж мы хотим, на выходе и теперь следующий шаг. Режиссёрский сценарий.
Мы переводим то что описал клиент в визуальное описание сцены.
Например такую сцену: "Влада празднует день рождения. Вокруг неё семья. Она задувает свечи."
Мы опишем так.
"Кадр 1: Крупный план четырёхлетней Влады. Она смотрит на свечи и глубоко вдыхает.
Кадр 2: Она задувает свечи.
Кадр 3: Общий план стола. Влада сидит напротив торта. По сторонам — дедушка и бабушка целуют её в щёки, бабушка и дедушка по маме справа, бабушка и дедушка по папе слева. У мамы на руках новорожденная сестра. Камера медленно отъезжает назад.
И это будет отличной основной промтов и для генерации изображний и для генерации видео.
ЧЕТЫРЕ 4 СТРАТЕГИИ СОЗДАНИЯ ЦЕЛОСТНОГО РОЛИКА
Перед началом создания ИИ ролика проговорим очень важную вещь - это стратегии создания сцен из генераций, мне пришли в голову только четыре.
Стратегия 1: Несвязанные планы
Самое простое. Ты создаёшь сцены, которые не должны стыковаться.
Например: Персонаж идёт по улице. А потом мы показываем, что он видит. Это два разных плана Но они связаны только логикой.
Плюсы: быстро, легко, мало генераций . Но подходит только для простых сцен, Ели это сцена со сложными действиями, и там много планов. будет выглядеть как слайдшоу. Большинство нейровидео выглядят именно так.
Вторая стратегия создания сцен в AI: Монтажные склейки
Тут немного сложнее. Учитывая, например, монтаж по крупности - мы генерируем первые кадры каждого плана в сцене.
Например: Влада пишет письмо. Общий план дома, вид сзади. Средний план - она сидит за столом и пишет. Потом деталь — рука кладет ручку. Мы генерируем три кадра, они должны быть едины в персонаже и пространстве, а мы уже знаем как этого добиться. И режем их по движению
Это способ делает сцену интересней, но подходит для сцен, с простыми движениями: например качает ребенка, пишет за столом и так далее.
Тут уже генерируешь 10-15 вариантов каждого плана, смотришь какие можно склеить. Выглядеть будет кинематографично. Минусы: Но будет больше работы и генераций, уже нужно понимать правила монтажа.
Третья Стратегия создания сцен в AI: Контроль начала и финала.
Нейросеть позволяет генерировать видео не только из одного кадра, но и из двух -первого и последнего. Это удобно, если движение в кадре более сложное, например танец или вам требуется сделать переход, например через матчкат.
Например: Кадр 1: Персонаж летит в воздухе в нужной позе
Кадр 2: Персонаж танцует с партнером и закидывает руку за спину.
Кадр 3 - Персонаж танцует с партнером в другом месте
Кадр 4 - персонаж с партнером танцуют в толпе
Нейросеть лучше понимает, как произойдет движение между первой и второй парой кадров. А мы уже можем сделать точную склейку между концом первого видео и началом второго.
Плюсы: максимум контроля над движением. Минусы: нейросеть чтобы соединить эти кадры часто создавала много артефактов, нарушала физику. Из-за чего генераций требовалось куда больше.
Четвертая стратегия создания сцен в AI: Последовательная генерация
И последнее - вы не делаете отдельно картинки, а потом их анимируете, а чередуете генерацию изображения, их анимацию, и монтаж
Ты берёшь один хороший кадр. Генерируешь из него видео. Потом берёшь последний кадр из этого видео, и в нано бананна генерируешь, например, укрупнение. И после уже анимируешь его. Я не знаю почему, но этот способом давал меньше всего артефактов.
Плюсы: нейросеть лучше работает с одним кадром, движение выглядит естественнее. Минусы: нельзя согласовать сцену, если это требуется, и сама работа становится немного сложнее.
Я советую вам не останавливаться на чем-то а чередовать эти стратегии. Не сработала одна - используете другую. Главное, использовать их там, где они подходят.
ПРОБЛЕМЫ СО СЦЕНАМИ
Мы уже понимаем структуру и начинаем генерацию изображений. Все я делал в Нано Банана, но работал вместе с профессиональным художником. Часто бывало так, что кадр отличный - и видео из него генерируется легко, но там надо править детали - так что он дорабатывал все изображения, часто в ручную. Например сложностью было - развернуть персонажей. Также одна из проблем которая существовала на тот момент (ее исправили в Nano Banana Pro) множество людей в кадре.
На день рождения нашей героини Влады приходит вся семья. Мама, папа, две бабушки, два дедушки. И нейросеть не очень понимает, как поместить столько людей на один кадр. Я пытался генерировать сам, добавлять по очереди, добавлять на частях изображения но больше трех человек нормально изобразить не получалось. Так что я скинул ему персонажей отдельно, а он уже в том числе в фотошопе собирал это всё воедино.
Три техники, которые помогут вам создавать кадры в точности, как вы хотите.
- Вы можете нарисовать композицию простыми формами - овалами и квадратами разных цветов, а после попросить Nano Banana поместить одного персонажа в то место, где они находятся. Рисовать я советую вам с самого сложного кадра, а потом уже укрупнять или изменять изображения.
- Также можно создавать изображение поэтапно, сначала добиться, чтобы один персонаж находился где надо, а после уже добавлять другого, и так по порядку.
- Третье - если надо поместить что-то конкретное в кадр, то используйте функцию Harmonize в фотошопе. Она повторит свето-теневой рисунок, цвет и создаст тень от предмета.
АНИМАЦИЯ И ЕЁ ЧЕЛЛЕНДЖИ
Окей, со картинками разобрались. Теперь нужно их анимировать Тоже пришлось подумать.
Часто нейросеть соверешенно не понимала, как сделать определенные действие: выход через заднюю машины, танцы или задувание свечей всегда были с артефактами. Тут спасали только монтажные приемы.
В случае с машиной - просто сделал монтажную склейку по движению. Со свечами - огонь появлялся после здувания, а значит желание могло не исполнится. Я такого допустить не мог и сделал так, что на общем плане свечи не горят вообще, и добавил футаж дыма верхним слоем. С танцем - легче сделать было эффект слайдшоу, он немного добавил динамики и позволил склеить кадр соревнования и награждения.
Пока самый все таки самый быстрый способ - генерировать, монтировать и в случае проблем, сразу генерировать новое. Сделать нужные генерации а потом чисто смонтировать у меня не выходило.
Также стоит отметить небольшое ограничение гугл вео в ритме монтажа. Генерирует она видео по 8 секунд, в случае монтажа по движению на нужной фазе - половину вам надо будет обрезать, т.е. в целом у вас выйдут планы по 4 секунды. И второе - бывает так, что генерируется отличное начало кадра, отличный финал - но в середине кадра виден очень явный артефакт. Так что какого-то замедленного видео, или даже спокойного ритма добиться очень сложно, и планируя ролик лучше предупреждайте клиентов, что будет похожий ритм.
МУЗЫКА В SUNO — СЛУЧАЙНАЯ УДАЧА
После чернового монтажа я преступил к саунд-дизайну. План был такой: Сделать одну тему, в разных ремиксах, а потом упор сделать на звуках в сцене. SUNO очень плохо делает музыку в заданом временном диапазоне, а VEO (обязательно пишите в промте No Music) сам часто делает точные звуки шагов, смеха и так далее.
Я, писал в промт точную продолжительность, но SUNO делал то больше, то меньше. и сама музыка подходила не очень. Но, где-то через 15 попыток появилась музыка, которая мне понравилась и была больше чернового монтажа буквально на 10 секунд. Я ее накладываю и она аж в 4 сценах очень попадает по настроению, чему я был рад. Потому что музыка с хорошим развитием композиции тоже создает целостность всего ролика. В итоге я решил просто использовать ее и добавил немного саунд дизайна.
БЛОК 12: ФИНАЛЬНЫЙ МОНТАЖ ПОД МУЗЫКУ
Финальный монтаж и правки были не значительные. В те десять секунд, которые не хватало чтобы попасть в музыку я добавил дополнительный кадров. Также заказчик попросил сделать акцент на двух важных сценах, и сделать их чуть помедленее. Как я уже говорил, за счет ограниченности 8 секундами в Veo сделать это не просто, но те 10 секунд, которые я добавил, позволили не перемонтировать весь ролик, а немного увеличить по времени несколько кадров.
Тут в отличии от обычного продакшна это все делается в разые быстрее, вам не надо просить художника, тем более переснимать. Но, наверное, если вы работаете с заказчикам, то на случай правок, которые изменяют длительность сцены - добавлять кадры заполнители. Такие, которые можно убрать но действие в сцене не потеряется.
Выводы. Реальность vs Мечта.
Выводы создания ИИ Мультфильм. Я, если честно, поражен. Я думал, что получится что-то такое на грани. но тут, если не брать некоторых деталей, получился достаточная целостная интересная история, и учитывая что это первый опыт, и я не использовал возможности контроля изображения, которое уже есть в клинге, например, то я очень доволен.
Мне кажется уже качество позволяет и для создания реальных мультиков, и упростит создание Раскадровок и аниматиков в продакшне, и значительно удешевляет процесс. Самое глвное позволит творческим людям не имея специфических знаний эксперементировать и делится своими историми.
Я, если честно, мечтаю сделать хотя бы короткометражный фильм, используя всё это. Так что подписывайтесь, и ждите.
Но. Самое главное, что я понял.
Нейросеть — это отличный инструмент. Но это ВСЕ ЕЩЁ инструмент. Это не волшебство.
Ты не можешь просто сказать: "Создай мне красивое видео" и получится шедевр. Сценарий остаётся. Режиссура остаётся. Монтаж остаётся. Работа занимает много времени. Требует знаний и опыта.
Развивайтесь в сценариях, киноискусстве, монтаже, пробуйте. Если не ждать чуда но и не отвергать нейросети совсем, а просто спросить: как нейросеть может быть мне полезна? Вы точно ответы. Счастья вам!