Привет! Ты на канале SYNTH10 и я рад тебя приветствовать!
ВНИМАНИЕ!!!
ОБЯЗАТЕЛЬНО ПРОЧТИ ЭТОТ ТЕКСТ! Эта статья предназначается ИСКЛЮЧИТЕЛЬНО для людей, которые способны самостоятельно принимать решения и нести ответственность за свои действия. Я имею в виду, что, читая основной материал статьи, ты подтверждаешь, что являешься взрослым человеком с устойчивой психикой.
Необходимость такого предупреждения обусловлена тем, что результат работы нейросетей, о которых мы будем говорить, не всегда может быть предсказуем и даже весьма пугающ и специфичен. Сгенерированные тобой видеофрагменты могут иметь большое количество резко сменяющих друг друга визуальных образов, а также содержать абстрактно-психоделические видеоэффекты и мерцание кадров. Если подобный контент может вызвать у тебя негативную или даже опасную реакцию твоего организма, то, пожалуйста, воздержись от чтения этой статьи и, соответственно, от применения описанных в ней действий.
Я желаю тебе исключительного и крепкого, как физического, так и эмоционального, здоровья, но образы, сформированные нейросетями, трудно поддаются точным прогнозам, а также имеют своеобразный характер подачи итогового результата конечному зрителю. Основываясь на этом, я хочу снять с себя ответственность, если во время повторения за мной каких-либо манипуляций что-то может пойти не так и нанести тебе какой-либо ущерб. Я просто даю информацию, а как ей распоряжаться знаешь только ты! Поэтому я прошу отнестись со всей ответственностью к моему предупреждению.
ВСТУПЛЕНИЕ:
Нейросети развиваются настолько быстро, что буквально не успеваешь следить за выходом всех новых интересных инструментов для реализации творческих потребностей человека. Текст, изображения, музыка, видео... В той или иной степени эти задачи уже подвластны "БЕЗДУШНОМУ ИИ"! Но пока Скайнет ещё не развернул полномасштабный заговор против человечества, я постараюсь рассказать тебе как использовать блага цифровых технологий на благо своих творческих задач. А именно, мы вместе сделаем клип на твой трек.
Постоянные читатели канала уже давно знают о ПЕРВОЙ ЧАСТИ моих рассуждений на тему создания музыкального клипа или видеоролика с помощью нейросетей. Там я рассказывал о множестве нейросетевых инструментов, способных провести тебя от создания базовой концепции твоего будущего клипа до его рендеринга. Там я даю большой список нейросетей, способных сгенерировать изображение, превратить его в видео, а затем улучшить качество полученных видеороликов, из которых в итоге ты и будешь собирать свой видеоряд.
Если ты прошлую статью ещё не читал, то я настоятельно РЕКОМЕНДУЮ перейти к ней, как только мы дойдём до логического завершения этой статьи. Порядок прочтения тут роли не играет, так как сегодня мы будем говорить о конкретной связке нейросетевых алгоритмов, которую я использовал, создавая клип свой недавний клип на композицию "The Whispers of a Distant Future". Ссылки на эти нейросети ты найдёшь в моих сообществах ВК и Телеграм.
Прошлая же статья поможет тебе познакомиться с дополнительными инструментами для раскрытия твоей индивидуальности и покажет альтернативные методы реализации твоих идей.
К слову, саму композицию ты сможешь послушать на всех стриминговых площадках. Но перед тем, как мы начнём, предлагаю авансом поставить ЛАЙК этой статье, ПОДПИСАТЬСЯ на канал и начинать уже думать, что ты будешь писать в КОММЕНТАРИЯХ!
Напомню, что кроме ДЗЕН, у меня есть ещё YouTube-канал, а также социальные сети: ВК и Телеграм. Там ты найдёшь много полезной информации для музыкантов, артистов, композиторов и других творческих людей, связанных с миром музыки. Статьи и видеоролики с обзорами VST-плагинов, уроки по теории и музыки и практике её написания, интервью с интересными музыкантами и много-много чего ещё! А главное, всё это сокровище я раздаю БЕСПЛАТНО!
Ну а если захочешь поддержать мой канал чуть более материально, то сделать это можно с помощью сервисов: Boosty, Donation Alerts и VK Donut.
К слову, ОГРОМНУЮ БЛАГОДАРНОСТЬ ЗА ПОДДЕРЖКУ КАНАЛА ВЫРАЖАЮ:
• АЛЕКСЕЮ МАКСИМОВУ
• ГЕРМАНУ БАРСУКОВУ
• HI BRO и
• АЛЁНЕ ЛЁШИНОЙ
А теперь, "СТАРТУЕМ!"
ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ:
В этой части тему мотивации и прочую словесную воду мы пропустим. Куда интереснее сразу перейти к делу. Однако я напомню, что для успешного завершения работы над клипом нужно будет чётко сформировать у себя в голове образ того, что должно получиться на выходе. Следует продумать стиль своего визуального повествования и только после этого приступать к работе. В противном случае ты потратишь много времени впустую и даже можешь не прийти к своей цели.
Если же концепция у тебя проработана, то милости прошу в нейросеть LeonardoAI. Эта нейросеть способна генерировать весьма качественные изображения по текстовому описанию, на основе другого изображения, оживлять полученные изображения, а также ещё много чего ещё, но нас будет интересовать только генерация картинок, которые послужат основой для нашей дальнейшей работы. И самое главное, что огромная часть функционала платформы работает АБСОЛЮТНО БЕСПЛАТНО!
• Для начала нам нужно завести учётную запись. Для регистрации на платформе ты можешь использовать на выбор одну из твоих учётных записей: GOOGLE, APPLE или MICROSOFT. Я уверен, что что-то из этого у тебя есть, но если же нет, то тогда ты можешь зарегистрироваться в LeonardoAI по обычной электронной почте.
• Первый этап пройден. Что же дальше? А дальше чуть-чуть изучим интерфейс платформы!
Слева мы видим боковое меню, которое отображает количество имеющихся у нас токенов (местной валюты), а также список всех алгоритмов и инструментов, которые доступны нам на платформе.
На основной области экрана мы видим плиточный интерфейс, где продублированы основные алгоритмы LeonardoAI, а также отображены пользовательские работы.
В этот раз нас будет интересовать только алгоритм генерации изображений, к которому с начального экрана можно перейти аж целыми тремя способами. Выбирай любой, и ты не ошибёшься.
• Вот мы и в режиме генерации изображений. Я не буду описывать каждую функцию этого инструмента. Расскажу лишь о тех функциях и настройках, которые нам пригодятся в первую очередь. Подробных гайдов по LeonardoAI в интернете полно, так что не переживай. Если захочешь более глубоко погрузиться в тему, YouTube и другие информационные ресурсы тебя в беде не оставят.
Начать генерацию изображений стоит с формирования подсказки для нейросети. Тут всё просто. Пиши то, что хочешь видеть. Если не увидел, то меняй текст и смотри на результат.
Возможно, тебе понадобится какое-то время, чтобы освоиться, но не стоит расстраиваться раньше времени. Я уверен, что у тебя всё получится. Не всё нам даётся с первого раза, так что это нормально ошибаться. При желании можно активировать тумблер, отвечающий за написание "негативного промпта". Он нужен для того, чтобы убрать из изображения нежелательные элементы.
• Далее выбираем подходящую для твоей задумки модель и стиль. Каждая модель в LeonardoAI натренирована под свои задачи и тут тоже понадобится время, чтобы освоиться.
Здесь всё очень субъективно. Лично мне подошли больше всего модели: Leonardo Diffusion XL, Leonardo Kino XL и Leonardo Vision XL. Тебе же могут подойти абсолютно иные модели и стили.
• Если стандартных моделей тебе недостаточно, то ты можешь воспользоваться кнопкой "Add Elements" и выбрать до четырёх понравившихся тебе элементов, влияющих на стиль изображения.
Ты можешь изменить силу влияния каждого элемента на изображение.
Несмотря на возможность добавить сразу четыре элемента, я бы советовал не использовать больше ДВУХ ЗА РАЗ. Иначе прогнозировать, что же именно получится в итоге, будет очень трудно.
• Перейдём к боковому меню! Вверху мы вновь видим количество доступных нам токенов. Сейчас расскажу, зачем они нужны.
Токен - это местная валюта. Её мы тратим на генерацию изображений, оживление этих изображений, на улучшения их качества и так далее. В зависимости от алгоритма, который мы используем, от количества генерируемых за раз изображений, а также от параметров генерации, стоимость операции может варьироваться.
Сразу скажу, что не стоит бояться тратить токены, так как они обновляются каждый день. Каждый раз нас будет ждать 150 токенов, поэтому смело изучай функционал LeonardoAI, особо не оглядываясь назад и не сожалея о сгенерированном, если что-то пошло не так. Новый день подарит тебе новые возможности. Ну а если у тебя не одна учётная запись, то.... Ну, ты понял меня. Развивать эту тему не буду.
• В зависимости от разных факторов за один раз ты сможешь сгенерировать от 1 до 8 изображений.
• Улучшить качество изображения и сделать его приватным можно в следующей секции. Но есть одно БОЛЬШОЕ "НО"!
Большинство этих функций доступны только платным подписчикам и никакими токенами их не оплатишь, поэтому останавливаться на них не буду. Возле каждого названия есть описание. Хоть оно и на английском, но я думаю, что в XXI веке переводчик уже встроен в браузер У ВСЕХ!
Однако, достаточно неплохой встроенный "Alchemy" апскейлер (качествоулучшатель) будет работать бесплатно, пока ты будешь тратить свои первые токены на аккаунте. Этого хватит, чтобы протестировать вполне себе достойный инструмент!
Цена генерации будет варьироваться в зависимости от активированных дополнительных модулей. Честно говоря, для нашей задачи апскейлер, конечно, мог бы пригодиться, но лично я работал без него!
• Теперь выбираем соотношение сторон и разрешение наших изображений. Конечно же можно выбрать из подготовленных разработчиками вариантов, но опытным путём я решил, что буду делать изображения с разрешением 1360 (Ш) x 768 (В). Соответственно, соотношение сторон будет 16:9.
• Остальные параметры я не трогал. Конечно же, можно ещё поиграться с параметром Guidance Scale, отвечающим за то, насколько сильно нейросеть будет следовать указаниям нашей подсказки, но меня устроило значение по умолчанию "7". При этом значении у алгоритмов был простор для собственной фантазии, что позволяет получать весьма разнообразные и интересные результаты. Естественно, ты же можешь экспериментировать с любыми параметрами и значениями так, как тебе угодно! Я бы даже порекомендовал тебе пробовать как можно больше разных соотношений параметров и моделей, чтобы получить идеальный для тебя результат.
Собственно, что касается меня, то я начал со следующих параметров:
- Промпт: "the whispers of a distant future"
- Негативный промпт: нет
- Модель: Leonardo Kino XL
- Разрешение: 1360 x 768 (Ш x В)
- Количество изображений за одну генерацию: 2 (больше нельзя при таких параметрах)
- Всё остальное: по умолчанию
Цена такой генерации стоила мне 7 токенов за два изображения.
• Если всё устраивает, то сохраняем изображения к себе на устройство. Если нет, то продолжаем генерировать до упора, пока не кончатся идеи или, что более вероятно, токены.
Чтобы видео получилось более интересным для глаза, советую периодически менять промпт. Так ты получишь хотя бы какое-то разнообразие ситуаций и сюжетов на экране. И поверь, изображений нам понадобится очень много, если ты хочешь.
ГЕНЕРИРУЕМ ВИДЕО:
В целом, мы могли оживлять наши изображения сразу в LeonardoAI, но такая опция стоит целых 25 токенов. На выходе ты получишь видео без вотермарков, длительностью в 4 секунды. Несмотря на то, что эта функция работает очень даже достойно, но давай будем откровенны друг с другом. Сколько дней, недель или месяцев ты будешь создавать ролики, если ты хочешь использовать 150 БЕСПЛАТНЫХ ТОКЕНОВ В ДЕНЬ для реализации своего замысла?
Именно поэтому мы перейдём в ПОКА ЕЩЁ БЕСПЛАТНУЮ нейросеть, способную в пару кликов оживлять наши картинки, превращая их в ЧЕТЫРЁХСЕКУНДНЫЕ видеофрагменты в HD-разрешении. Речь идёт о нейросети HAIPER.AI.
Когда буквально на той неделе я делал свой клип, то HAIPER.AI позволял создавать видеофрагменты длиной лишь в 2 секунды, потому я искренне рад за тебя. Фрагмент в 4 секунды куда более удобен при монтаже. Конечно, хотелось бы и больше, но в основном подобные нейросети делают фрагменты длиной именно в 4 секунды, поэтому просто будем радоваться, что HAIPER.AI позволяет нам использовать свои способности на данный момент АБСОЛЮТНО БЕСПЛАТНО!
Нейросеть имеет три основные функции: генерация видео по текстовому описанию, генерация видео на основе изображения и изменение стиля уже существующего видео.
Также, в будущем ожидается функция расширения видео. Судя по тому, как быстро добавили возможность генерировать четырёхсекундные видеофрагменты, то ждать нам осталось недолго. Но это не точно!
Но хочу сразу сказать, что нейросеть очень плохо работает с рисунками и абстракциями. Она отлично справляется с фотореалистичной графикой, даже если это, скажем, научная фантастика. Но вот если дать ей на "растерзание" обложку какого-нибудь синтвейв-альбома, то начнёт происходить какой-то психодел.
К слову, если тебя устроит скорость создания ролика и результат, то можно сразу генерировать видеофрагменты в HAIPER.AI по текстовому описанию. Тут кому как больше нравится. Лично я выбрал путь генерировать изображения в LeonardoAI и только потом закидывать их в HAIPER.AI. А теперь начнём разбираться по порядку.
Обрати внимание, что в углу каждого фрагмента, который мы сделаем в этой нейросети будет вотермарк. Если ты хочешь от него избавиться, то учитывай заранее, сможешь ли ты обрезать свой видеофрагмент при монтаже без ущерба исходному изображению.
• Чтобы начать пользоваться HAIPER.AI, тебе понадобится аккаунт в Discord или Google.
• Нас встречает раздел "EXPLORE", где показаны работы других креаторов.
• Слева нас вновь ждёт переход между разделами сайта и различная общая информация. Тут же можно выбрать, каким алгоритмом мы будем пользоваться для создания видео, а снизу нас ждёт строка для ввода промпта. Из этой точки ещё мы можем перейти в раздел сайта с названием "CREATE", где мы будем создавать собственные шедевры кинематографа.
• Если нажать на какой-нибудь видеофрагмент, то мы сможем подсмотреть, как другие авторы составляют свои промпты, а также такую информацию о видеофрагменте, как ID и SEED, которая может пригодиться тебе, если ты захочешь повторить стиль понравившегося ролика. Как видишь, ничего сложного в этом нет.
• Приступим к нашим экспериментам. Для начала надо выбрать наш алгоритм. Раз мы создаём видео на основе изображения, то жмём на зелёный кружок возле поля для ввода промпта и в открывшемся окне выбираем режим "Animate Your Image (HD)" То же самое мы можем сделать, нажав на соответствующую большую кнопку вверху окна.
• Перед нами появилась кнопка "Upload Image". Чего же ты ждёшь? Выбирай своё изображение, но пока не торопись нажимать на кнопку "Create". Нам нужно сделать ещё кое-что.
• Обрати внимание на иконку с глазом. Нажав на неё, ты сможешь сделать так, чтобы твои генерации были видны только тебе! Приватность - наше всё!
• Далее жмём на соседнюю иконку справа и выбираем желаемую длину видеофрагмента. Поставим 4 секунды. Здесь же ты можешь указать "seed" другого видео, что приблизиться к его стилю.
• Всё, теперь можно жать на кнопку "Create". Видео генерируется не очень быстро, но их можно генерировать в неограниченном количестве. Единственным крошечным ограничением является то, что между началом каждой новой операции должно пройти 10 секунд, а так ты можешь загрузить в HAIPER.AI хоть двести изображений. Тебе просто нужно будет подождать, когда нейросеть закончит свою работу! И для этого необязательно её контролировать и ждать у монитора. Процесс идёт без участия пользователя!
• Дождавшись окончания генерации, скачиваем понравившиеся фрагменты. Если что-то не нравится, то ставим генерацию на повтор. Тут всё логично.
• Буквально чуть-чуть подробнее мне бы хотелось остановиться на вот этих четырёх иконках.
- Первая иконка позволяет повторно сгенерировать видео, сохранив исходные параметры.
- Вторая иконка позволяет изменить промпт.
- Третья иконка самая странная. Я бы сказал, что она меня даже немного вводит в ступор. Она позволяет редактировать на готовом видео те элементы, которые нам не понравятся. Просто нажимаем на ненужный элемент изображения и пишем то, что хотим увидеть вместо него.
Если честно, то лично у меня всё становилось только хуже, поэтому я не трогаю этот инструмент.
- И четвёртая иконка просто позволяет либо скрыть нашу генерацию из публичного доступа, либо же удалить её для всех и навсегда.
• Наши видеофрагменты готовы и уже скачаны. Это значит, что мы переходим к следующему этапу.
МОНТИРУЕМ ВИДЕО:
Дальше каждый сам решает, что и в какой последовательности делать! Либо сначала апскейлить видео из HD до нужного размера, а потом монтировать фрагменты, либо же сначала всё смонтировать, а потом уже улучшать качество целого клипа. Лично я выбрал второй вариант.
Также хочу обратить твоё внимание на то, что крайние кадры видеофрагментов остаются без динамики. Картинка будто бы застывает на доли секунды, поэтому я советую тебе подрезать все исходники на несколько кадров, чтобы при переходе от одного фрагмента к другому картинка не застывала на короткое мгновение.
Несмотря на столь малые временные величины, поверь, наш мозг очень хорошо это подмечает. Когда я создавал свой второй в жизни нейросетевой клип на нашу совместную работу с автором песен, музыкантом и просто хорошим человеком, певицей GREENLY, которая называется "FIND ME" я обжёгся на этой теме с фризами. Несмотря на то что видеофрагменты для того клипа я делал с помощью нейросети Stable Diffusion на ресурсах собственной видеокарты, проблемы с застывшими кадрами на концах генераций тоже присутствовали, но, к сожалению, я сразу не заметил этого неприятного явления.
Пусть мой опыт и мои ошибки будут для тебя уроком.
• Ну, а мы переходим к монтажу. Выбирай свою любимую программу для монтажа видео, а затем закидывай туда все полученные фрагменты. Не забудь закинуть и свой трек. Клип же делаем всё-таки!
• Постарайся сделать так, чтобы фрагменты сменяли друг друга, подчёркивая динамику и ритмику твоей композиции. Возможно, какие-то фрагменты понадобится растянуть, какие-то, наоборот, сократить. Но такие операции следует делать с умом. В противном случае могут появиться нежелательные фризы.
Собственно, программа, о которой я буду говорить дальше, может не только "улучшать" качество видео, но и плавно растягивать видеофрагменты, восполняя пропущенные кадры. В идеале тебе тогда нужно будет сначала обработать каждый фрагмент будущего клипа и только после этого приступать к монтажу. Я же сначала всё смонтировал, слегка растягивая фрагменты внутри After Effects, за что заплатил свою цену...
Ввиду того, что через создание таких клипов я изучаю саму технологию, то некоторые выводы становятся очевидны для меня лишь после того, как я увижу финальный результат. Да, порой "The Whispers of a Distant Future" встречает нас немного дергаными кадрами, но, если честно, то меня это не очень беспокоит, ведь моя задача была изучить технологию. Впереди нас ждёт ещё много клипов на основе нейросетей, а кто не ошибается, осваивая что-то новое, тот либо безумно хорош по жизни, либо просто ничего не делает. Совершать ошибки - это нормально! Главное - делать выводы! Не так ли?
Предположим, что наше видео смонтировано и уже прошло стадию рендеринга! Давай перейдём к улучшению его качества!
УЛУЧШАЕМ КАЧЕСТВО ВИДЕО (АПСКЕЙЛ):
Для апскейла я использую ПЛАТНУЮ программу Topaz Video AI. Кроме того, данная программа работает на ресурсах видеокарты, и если у тебя слабый ПК, то тебе придётся поискать для себя что-то другое!
Ты можешь поискать какие-нибудь бесплатные аналоги в интернете или те же самые нейросети вроде Vmake AI Video Enhancer.
Тот же самый Vmake неплохо улучшает качество видео, но с его помощью БЕСПЛАТНО можно скачивать фрагменты длиной не больше пяти секунд. Таким образом, тебе придётся сначала улучшить все фрагменты и лишь потом приступать к монтажу видео. Никто не мешает тебе поискать альтернативы, но, так как сегодня я рассказываю о своём опыте, то буду двигаться в этом русле.
Хоть и не очень часто, но я давно пользуюсь "Топазом". Причём не только для улучшения качества видео, но и изображений. Порой, он работает не идеально, но а что в этом мире вообще есть идеальное?
• За основу я взял заводской пресет 4k_mp4_30fps, но очень важно провести ещё одну манипуляцию...
• Во вкладке "Enhancement AI" обычно я выбираю либо модель "Gaia"? либо модель "Theia". Первая позиционирует себя как высококачественный апскейлер, вторая же видит себя в качестве хорошего инструмента для придания видео деталей с сохранением исходной достоверности и точности.
Для данного клипа я выбрал модель "Gaia".
• Нам осталось только спуститься в самый низ окна и нажать на кнопку с названием кодека. Откроется подменю, в котором мы более детально настроим параметры экспорта.
- Кодек: H.264
- Контейнер: mp4
• Жмём на кнопку "Export As", а дальше выбираем, куда будет сохранён наш клип. Заодно даём ему название.
• Осталось дождаться завершения рендеринга. Процесс может быть не быстрым, но как только он завершится, можно сразу же заливать клип на любимые видеохостинги! Только проверь несколько раз, что всё с видеофайлом в порядке. Видеохостинги очень не любят перезаливы и карают их отсутствием продвижения! Как говорится, "семь раз отмерь, один отрежь", и в данном случае эта пословица наилучшим образом отражает не только процесс подготовки к загрузке видео в интернет, но и обо всём процессе создания видео в целом.
***
Я очень благодарен тебе за то, что ты нашёл время прочитать эту статью! Я постарался поделиться с тобой своим опытом, максимально не упуская важных деталей и пропуская всё, что не несёт для тебя пользы. Надеюсь, что ты найдёшь этой информации применение и изложенное мною было тебе полезно или, по крайней мере интересно!
Я буду рад ЛАЙКУ под этой статьёй, критикующему, хвалящему или любому другому КОММЕНТАРИЮ, способному поддержать наш диалог, и, конечно же, подписке на мои: ДЗЕН, YouTube, ВК и Телеграм. Поверь, там я собрал для тебя ещё много чего полезного и нереально крутого! Я думаю, что эта статья может служить подтверждением моих слов!
Для желающих поддержать мой канал более материально, я оставлю ссылки на платформы, где можно это сделать: Boosty, Donation Alerts и VK Donut.
Желаю тебе новых открытий и скорейшего осуществления задуманного!
На связи был SYNTH10! До скорых встреч! Пока-пока!