В этой статье я кратко затрону аспекты создания Short-видео и клипов при помощи отечественных нейросетей.
В этом материале будет рассмотрена последовательность действий для создания бесплатных видеороликов на конкретном примере. Предлагаемая последовательность действий является лишь одним из возможных вариантов для создания цифрового контента. Метод подойдёт начинающих творцов на этом поприще, так как позволит пробрести некоторый практический опыт, перед использование альтернативных, платных инструментов, либо остаться в этой нише и продолжать творить. Метод также потребует умения пользоваться графическими и видеоредакторами.
Обе основные нейросети, принадлежащие отечественным компаниям Гигачат от Сбера и Шедеврум от Яндекса позволяют бесплатно создавать видеоролики. Но при этом в обоих случаях есть определённые ограничения, связанные с их возможностями. Главное ограничение заключается в том, что данные нейросети могут создавать только короткие ролики, продолжительностью несколько секунд. Несколько секунд это, конечно хорошо, но мало даже для Short-видео.
Дальше начинаю собственно описания для создания ролика, на примере видео, прикреплённого к статье.
Это короткий, двадцатисекундный ролик с одной единственной сценой, в котором из тумана появляется загадочная девушка, произносит заветную фразу и замирает. При этом в ролике есть фоновая пение, которое призвано дополнить атмосферу таинственности. Итак, поехали...
На первом этапе мы продумываем концепцию нашего ролика и определяем количество сцен. Кто будет находиться в ролике, в какой обстановке, что он будет делать, что вокруг будет происходить. Если у нас происходит полная смена обстановки, значит начинается новая сцена. В примере приведён самый простой вариант, в котором всего одна единственная сцена, хоть действие в кадре и происходит, но действующее лицо одна и таже девушка, которая двигается и что-то говорит.
На следующем этапе при помощи нейросети мы создаём первый кадр нашего ролика, с которого всё начнётся.
В данном ролике самый первый кадр выгляди так
Сразу ремарка, чтобы не возникло путаницы. Если вы посмотрите видео, то увидите, что это на самом деле самый последний кадр в котором девушка замирает. Просто в данном, конкретном случае, просмотрев уже готовый видеоряд, я пришёл к выводу, что ролик будет лучше смотреться, если его воспроизвести в обратную сторону. Поэтому в конечном варианте кадр стал самым последним, но это нюанс, продолжаем дальше...
Первый кадр выражает общую концепцию сцены, девушка выглядит так, как описан один из персонажей книги, находится в атмосфере, соответствующей сюжету. Если бы действия происходили в прямой последовательности, девушка появилась бы в кадре в таком виде, затем сказала фразу, а потом стала бы удаляться, исчезая в тумане.
Для генерации первого кадра я использовал нейросеть Алису от Яндекса, у меня на неё про подписка, 100 рублей в месяц, за что я получаю безлимит вполне неплохих по качеству картинок. Шедеврум и Алиса это по сути одна и таже нейросеть, которую при помощи нехитрых маркетинговых операций, вам пытаются продать дважды, потому что это в два раза выгоднее, чем продать её один раз, я имею ввиду про подписку. Я использую именно Алису, потому что она позволяет работать непосредственно с компьютера, тогда как Шедеврум работает только через приложение для мобильных устройств , что лично для меня неудобно. По этой же самой причине я не буду использовать Шедеврум для генерации видео.
Есть много нейросетей, которые делают картинки бесплатно, в частности тот же самый Гигачат от Сбера или Шедеврум от Яндекса..
Итак, выбираем любую подходящую нам нейросеть, которая умеет рисовать картинки задаём промт с описанием сцены, получаем варианты изображения. Вносим корректировки до тех пор, пока не получим устраивающий нас вариант.
Если полученное таким образом изображение нас в целом устраивает, но имеет дефекты при генерации его можно дополнительно отредактировать при помощи графических редакторов или нейросетей, которые умеют исправлять указанные ошибки, здесь я не буду подробно на этом останавливаться.
После завершения работы над первым кадром переходим к созданию непосредственно самого ролика.
Сами видеоролики я создал уже при помощи сберовского Гигачата, мне так было удобнее.
Для своего использования Гигачат требует регистрации, я зарегистрировался в нём при помощи Сбер-id. Далее мы переходим в раздел полезное, где будет вариант создать видео.
Выбираем вариант по изображению, загружаем первый кадр в соответствующий раздел. Далее добавляем промт. Пример простого промта на скриншоте.
В дополнительных настройках можно выбрать, что будет делать камера. В нашем случае она отъедет от объекта, но там также есть и другие варианты движения. Кроме движения камеры можно поменять освещение, в данном случае пасмурный свет был, на мой взгляд, более подходящим.
Закончив со всем этим, мы запускаем процесс создания нового видео. Нейросеть создаёт ролик продолжительностью строго 5 секунд. Гигачат генерирует видео бесплатно, но даёт не более 10 попыток в день, больше, только если вы будете приглашать туда по ссылке друзей. Попытка может быть и неудачной, происходящее в кадре по тем или иным причинам может вас не устроить, возможно потребуется немного изменить промт, движение камеры или что-то ещё... Таки м образом, вы сможете за сутки сделать не более 50 секунд видео и то, при условии, что у вас будет всё всегда получаться, что маловероятно... Но мы рассматриваем пример бесплатного создания контента, поэтому пока всё бесплатно, хоть и с ограничениями.
Итак, мы получили желанный вариант первого фрагмента, но по нашей задумке сцена больше пяти секунд, как её продолжить дальше? Очень просто, скачиваем фрагмент видео себе на компьютер, воспроизводим его в любом медиаплеере, доходим до последнего кадра, после чего делаем его скриншот и получаем первый кадр для следующего фрагмента сцены. Последний кадр можно извлечь и другими, более профессиональными методами, но здесь я предлагаю самый простой, доступный вариант.
Первый фрагмент остановился на данном кадре, девушка повернула голову прямо и начала уже что-то говорить.
Обязательно выходим в предыдущее меню при помощи стрелочки и выбираем создать новое видео, иначе видео продолжит генерироваться по первому кадру из предидущего фрагмента, даже если мы поменяем картинку, функционал работает немного криво...
Загружаем первый кадр нового фрагмента, пишем новый промт, определяем другие условия. Следующе пять секунд девушка будет просто что-то говорить в условиях окружающего её тумана, здесь я не задал действия для камеры, так как это не особо принципиально.
После того, как у нас получился устраивающий нас вариант фрагмента, делаем скриншот его последнего кадра.
Как мы видим в прошлой сцене камера приблизилась к лицу девушки, варианта просто никуда не уезжать к сожалению, пока нет, хотя он вполне очевиден...
Повторяем все действия для создания предыдущих фрагментов. Получаем новый скриншот, задаём новый промт, в данном случае девушка закончила говорить и начинает исчезать в тумане, удаляясь куда-то туда.
Девушка и правда несколько удаляется и частично исчезает в тумане, но на мой взгляд, этого не достаточно, поэтому будет ещё четвёртый фрагмент, в котором мы попробуем засунуть девушку в туман поглубже, может она всё-таки таинственно исчезнет...
Данное желание находит отражение в новом промте. В итоге девушка удаляется от нас ещё дальше и туман закутывает её сильнее, но полностью девушка не исчезает. Не знаю, сколько бы ещё фрагментов понадобилось, чтобы нейросеть всё-таки засунула девушку в туман, но я предварительно смонтировал ролик, прокрутил его в обратную сторону и понял, что будет лучше, если девушка наоборот появится из тумана. В результате чего я поменял концепцию ролика и больше фрагментов делать не стал.
Итак, видеоряд первой сцены готов. Проговорю очевидные вещи.
Во-первых, не обязательно использовать все пять секунд сгенерированного видео, можно использовать только нужный фрагмент, соответственно, мы обрезаем фрагмент до нужного места и берём в качестве первого кадра следующего фрагмента, последний кадр с обрезанного места.
Во-вторых, сами фрагменты и взятые для генерации фрагментов последние кадры можно и нужно предварительно редактировать. В нашем случае пример видео без редактирования, и результат получается, что называется, налицо. Переход между всеми четырьмя фрагментами резкий и отчётливо заметен, не потому что у нас есть логический разрыв кадров, в этом плане сцена гармонично продолжается, а в резком изменения цветовой палитры изображения.
Одна из причин - ошибка при задании дополнительных условий освещения, в чём она заключается.
- Изначально первый кадр был достаточно ярким, но я задал условия пасмурного освещения и нейросеть сделала видео более тусклым. Далее, когда я взял последний кадр для второго фрагмента, то опять задал условия пасмурного освещения, что делать было не нужно, так как освещение итак уже стало пасмурным, в результате чего мы наблюдаем резкий перепад цветовой гаммы между фрагментами сцены, в конце ролика (изначально между первым и вторым фрагментом). То есть, надо быть внимательным к деталям.
Также наличие фрагментов выдаёт заметное изменение динамики движения камеры. Если последнее нами неуправляемо и остаётся только надеяться на удачу, производить цветокоррекцию первого кадра следующего фрагмента, желательно, если заметность смены фрагментов для вас критична. Делается это в графическом редакторе, которым вам удобнее пользоваться.
Если в нашем ролике несколько сцен, переходим к следующей и повторяем всё сначала.
Таким образом, мы получаем полностью готовый видеоряд, но это не немое кино, должен быть ещё и звуковой ряд.
Чтобы ролик было интереснее смотреть и для придания пущей атмосферы, я сделал в нём фоновое пение, в вашем случае это может быть любое музыкальное сопровождение. В моём случае это женский голос, который просто мелодично тянет аааа в определённой вариации, здесь мне хотелось видеть именно это.
Для создания данной композиции я использовал всё тот же Гигачат. В разделе полезное, есть подраздел "Создать песню"
Переходим в раздел, нажимаем создать новую песню
Далее выбираем вкладку свой текст, пишем текст песни, в разделе жанр пишем, что бы мы хотели услышать и запускаем процедуру генерации. Песня генерируется в течение пары минут. Никаких ограничений на количество попыток нет, можно генерировать песни до победного, хоть весь день...
Таким образом, я получил устраивающий меня по качеству трек из которого я просто вырезал нужные фрагменты и расставил их в нужной последовательности.
Для завершения ролика осталось только добиться того, чтобы девушка произнесла нужную фразу, ведь по сюжету она что-то говорит.
Существует множество бесплатных сервисов по озвучки текста нейросетями, где можно выбрать подходящих для ролика роботов, которые озвучат необходимый текст.
При создании ролика я использовал небесплатную сеть Звукограм, потому что качество бесплатных роботов меня не устраивало. На самом деле качество роботов звукограм меня тоже не устраивает, но это было лучше бесплатных сервисов, а озвучить одну небольшую фразу стоит недорого.
Интерфейс пользователя у многих подобных сервисов похож. Вы выбираете робота, в данном случае его зовут Emma Ru, можно управлять тоном и скоростью голоса, а также регулировать другие параметры речи. Пишем фразу, расставляем все нужные метки, паузы, ударения, интонацию и нажимаем озвучить текст, после чего, получаем готовый фрагмент аудио, который можно скачать и использовать в своих целях.
При помощи подобных роботов, пару лет назад я озвучил некоторые свои книги, причём каждый персонаж книги говорил у меня голосом своего робота. Я использовал другой платный сервис с похожим функционалом. Прошло около двух лет, а качество роботов улучшилось незначительно и по-прежнему оставляет желать лучшего, зато расценки на услугу нейросети возросли ощутимо...
Таким образом, при помощи трёх отечественных нейросетей Алисы от Яндекса, Гигачата от Сбера и Звукограма, я получил всё необходимое для создание ролика. Оставалось только соединить всё в редакторе и получить готовый продукт. Тему откуда взялись и что представляют из себя отечественные нейросети, мы здесь раскрывать не будем...
Итак. подведём краткий итог. Предложенный метод и набор инструментов имеет свои
Достоинства:
1. Возможность бесплатного создания видеоконтента исключительно за счёт нейросетей;
2. Получение практического навыка работы с нейросетями, графическими и видеоредакторами, для перехода на более высокий профессиональный уровень работы;
Недостатки:
1. Ограниченные возможности по качеству и количеству создаваемого контента.
Планирую периодически продолжать публикации по работе с нейросетями