Сегодня я продолжу тему создания анимации с помощью нейросети "Кандинский", начатую в прошлый раз. Если вы не читали той моей публикации, советую это сделать — в первую очередь для того, чтобы знать, чего можно ожидать от "Кандинского" в его бета-видео-версии, а чего он пока делать не умеет, и не предъявлять к нему завышенных требований.
"Кандинский" только-только начал работать с анимацией и всё ещё учится, но, если обращаться с ним чутко и с пониманием, приемлемых результатов добиться от него всё же можно.
Всё, что будет написано дальше, взято мной из собственных опытов, а не из каких-то инструкций. За несколько дней, прошедших с момента запуска видеогенератора, бедняга "Кандинский" успел от меня настрадаться, повторяя дубли за дублями одной и той же сцены до тех пор, пока она не начинала меня устраивать (я ужасный режиссёр. Тиран и деспот). Так что, если вы самостоятельно обнаружили какой-то интересный приём или можете дать совет, о котором я здесь не упоминаю, тоже не жадничайте и поделитесь с нами в комментариях. Будем составлять мануал вместе.
1. Избегайте мелких деталей
В прошлой статье по теме мы уже выяснили, откуда берётся характерное "мерцание" нейросетевых видеороликов: причина во множестве мелких различий второстепенных деталей на разных кадрах.
Отсюда вывод: мелкие детали хороши при создании статичных картинок, но при генерации серии кадров пока что их лучше по возможности избегать, если вы хотите минимизировать "мерцание", а иногда и появление откровенной жути.
Конечно, полностью избавиться от деталей не получится, да это и не нужно, потому что не все они одинаково вредны. Если шевеление, допустим, волос на голове воспринимается нами как относительно нормальное явление (может, это ветерок), и не сильно противоречит чувству реальности, то ползающие по телу татуировки — совсем другое дело. Обратите внимание на татуировки на этой девушке: в каждом кадре рисунок разный. Изменяются и её украшения.
2. Учитывайте пропорции кадра
При генерации видео в телеграм-боте можно выбирать из трёх вариантов пропорции кадра: квадрат, пейзажная (горизонтальная) или портретная (вертикальная). Лучше, если выбранные вами пропорции и ориентация будут соответствовать пропорциям вашей сцены или главного объекта в ней, в особенности если вы собираетесь использовать эффект движения камеры. В противном случае нейросеть может попытаться заполнить объектом весь кадр, и в итоге вы получите сильные искажения. Если, допустим, вы создаёте анимацию про кубик Рубика, а кадр горизонтальный или вертикальный, то есть большой риск получить параллелепипед Рубика.
Вот так выглядит вращение круглого изумруда (вид сверху) по часовой стрелке в вертикальном видео:
А вот так - в квадратном:
Искажение всё ещё есть, но уже не такое сильное.
3. Уточняйте стиль изображения
Чтобы видео, созданное из двух или трёх отдельных сцен, выглядело цельным, лучше сразу уточнять в запросе для каждой сцены стиль генерации: рисованная или 3D-анимация, фотореализм или цифровая живопись. Если этого не сделать, "Кандинский" вполне может сгенерировать две или все три сцены в разных стилях. Иногда это выглядит неплохо и может сойти за художественный замысел, но всё же лучше, если вы как режиссёр будете самостоятельно решать, когда прибегать к таким приёмам.
В моём примере превращение реалистичного фасада дома в рисованный выглядит даже неплохо, хотя изначально в мои планы это не входило:
4. Сохраняйте единообразие
Если в двух или трёх сценах вашего видео присутствует один и тот же персонаж, объект или локация, повторяйте их описание слово в слово для каждой сцены, и меняйте только то, что хотите изменить. Так у вас будет больше шансов создать связную историю, например, с одним героем в одном и том же месте, а не ассорти из двух-трёх разных персонажей где попало (хотя стопроцентной гарантии нет, но попытаться всё же стоит).
Заодно подумайте о цветах и освещении. Их тоже желательно включить в описание для каждой сцены, если вы хотите, чтобы визуально ваша анимация была цельной.
Вот здесь по задумке из глубин космоса должен был плавно появиться космолёт, а потом камера должна была переключиться на лицо инопланетянина. Но в сцене с космосом присутствуют красный и синий, в сцене с кораблём красный пропадает полностью, а инопланетянин вообще серо-зелёный. Цельной картинки не вышло.
5. Помните про морфинг
При переходе между сценами "Кандинский", где может, использует морфинг — плавное перетекание одного объекта в другой. Продумывая сюжет, имейте это в виду. Иногда это помогает добиться интересного эффекта, а иногда может выглядеть довольно жутко.
Например, анимацию точно не украшает это превращение лица в архитектурные элементы:
А здесь перетекание колибри в листочек проходит вполне естественно:
И дальше, когда листья становятся морскими волнами, это выглядит органично:
Посмотреть на всё это в действии можно в видео по ссылке.
6. Подбирайте подходящий эффект движения камеры
Никакого настоящего оператора с настоящей камерой у "Кандинского" нет. Поэтому все эффекты движения камеры достигаются следующим образом (насколько я это понимаю): картинка увеличивается до таких размеров, чтобы она выпадала за границы кадра, а затем просто передвигается в заданном направлении, и через окошко кадра мы видим, как постепенно появляются её скрытые части.
Минус этого приёма в том, что основные объекты в сцене могут оказаться обрезанными в самых неудачных местах, как этот футболист, например. Тут его вдобавок ещё растянуло, сплющило и размазало по экрану:
Движение камеры по горизонтали, как ровное, так и с "наездом", плохо работает для вертикальных кадров: ваш основной объект, скорее всего, окажется обрезанным по бокам. Точно так же горизонтальные кадры не дружат с движением вверх-вниз. А вот у квадратных кадров обычно всё получается относительно удачно независимо от того, куда едет камера.
Вообще "наезд" камеры пока работает не очень хорошо. Иногда "Кандинского" откровенно глючит, и картинка получается больше всего похожей на сумбурный сон. Будем надеяться, что решение этой проблемы — всего лишь вопрос времени, а пока мы ждём улучшений, предлагаю потренироваться на том, что имеем.
Успехов в творчестве, и... как там?.. Камера, мотор!
***
Этот абзац я дописываю спустя несколько дней, когда благодаря одной из подписчиц выяснилось, что телеграм-бот действительно открыт пока только по приглашению. Конечно, мне стоило сначала это проверить, прежде чем давать ссылку на него, и я прошу прощения за эту оплошность, но убирать ссылку я всё равно не буду. Всё меняется так быстро, что доступ могут открыть в любой момент, а эту публикацию Дзен будет показывать ещё какое-то время. Если пока бот отказывается вас принимать, не огорчайтесь, просто подождите немного — наверняка скоро всё станет доступным.