Привет! Ты на канале SYNTH10 и я рад тебя приветствовать!
ВНИМАНИЕ!!!
ОБЯЗАТЕЛЬНО ПРОЧТИ ЭТОТ ТЕКСТ! Эта статья предназначается ИСКЛЮЧИТЕЛЬНО для людей, которые способны самостоятельно принимать решения и нести ответственность за свои действия. Я имею ввиду, что читая мою писанину, ты подтверждаешь, что являешься взрослым человеком с устойчивой психикой.
Необходимость такого предупреждения обусловлена тем, что темы и идеи, изложенные здесь, могут быть весьма специфическими. Я обещаю, что ниже ты найдёшь обилие резко сменяющихся визуальных образов, психоделических видеоэффектов и мерцающих кадров. Если ты плохо воспринимаешь подобный контент и он может вызвать у тебя негативную или даже опасную реакцию твоего организма, то, пожалуйста, воздержись от чтения этой статьи и, конечно, от применения описанных в ней действий.
Я желаю тебе исключительного и крепкого как физического, так и эмоционального здоровья, но образы, сформированные нейросетями трудно поддаются точным прогнозам, а также имеют своеобразный характер подачи итогового результата конечному зрителю. Основываясь на этом, я хочу снять с себя ответственность, если во время повторения за мной каких-либо манипуляций, что-то может пойти не так и нанести тебе какой-либо ущерб. Я просто даю информацию, а как ей распоряжаться знаешь только ты! Поэтому я прошу отнестись со всей ответственностью к моему предупреждению.
В любом случае, у меня на канале есть множество безопасных статей для любого читателя. Поэтому подписывайся на мои социальные сети: ДЗЕН, YouTube, ВК и Телеграм. Там тебя ждёт ещё больше интересных статей и материалов о музыке и не только. А если захочешь поддержать мой канал чуть более материально, то загляни ко мне на Boosty.
Ну, и конечно же ставь ЛАЙК этой статье, оставляй КОММЕНТАРИЙ и ДЕЛАЙ РЕПОСТ в своих соц. сетях, чтобы поделиться этой крутой информацией со своими друзьями. Вместе творить куда веселее!
P.S. Как всегда, все ссылки будут храниться у меня в ВК и Телеграм, а материалы к этой статье будут ждать тебя в посте на Boosty!
А теперь, "ПОГНАЛИ!"
***
Написать эту статью меня побудили вопросы в социальных сетях, направленные в сторону моего "клипа" на трек "Jakten på Fenrir". Трек посвящён Фенриру, персонажу из германо-скандинавской мифологии. Если быть точнее, то не самому Фенриру, а охоте на него, огромного волка, одного из детей Локи и Ангрбоды, играющего важную роль в мифе о Рагнарёке. Сама работа представляет из себя смесь бита в стиле BoomBap и звучания северных музыкальных инструментов, таких как тальхарпа и варган. Не все со мной согласятся, но я нахожу это сочетание весьма интересным.
Как будет построена статья? Я обещаю тебе, что это будет длиннопост, разбитый на несколько основных пунктов со своими подпунктами. Мы рассмотрим все основные этапы создания нейросетевого клипа, которые прошёл лично я. К этим этапам относятся:
• ПОИСК ИДЕИ ДЛЯ КЛИПА
• ВИЗУАЛИЗАЦИЯ ИДЕИ
• КОНВЕРТАЦИЯ ИЗОБРАЖЕНИЯ В ВИДЕО \ АНИМАЦИЮ
• УЛУЧШЕНИЕ КАЧЕСТВА РОЛИКОВ ДЛЯ МОНТАЖА
• ВИДЕОМОНТАЖ КЛИПА
Сам клип размещён ниже. Если ты внимательно читал(а) предупреждение в начале статьи, то только тебе решать, смотреть этот клип или нет.
Кто видел, тот увидел! Кто не стал смотреть, воспринимай на веру.
К моему великому сожалению, ИМЕННО ТОТ САМЫЙ АЛГОРИТМ (MS-Image2Video), использованный мной и который превращал изображения в видео, в данный момент не работает. Такое уже было раньше, но MS-Image2Video вновь становился активным, поэтому я буду надеяться, что он вновь будет готов использовать свою нейросетевую магию в будущем. Однако, я нашёл для тебя много чего интересного, что перекроет нашу потерю. Чтобы содержание этой статьи и соответствовало заголовку, я нашёл несколько алгоритмов, которые в той или иной степени смогут заменить MS-Image2Video.
Что касается самого клипа. Результат у меня получился противоречивый, но что-то в этом определённо есть. Если учитывать, что мы находимся только в начале пути развития отрасли создания нейросетевого контента, то результат меня впечатлил.
Я не буду отрицать, что моя первая работа больше похожа на "мыльное мыло", чем на полноценный клип. Прямо сейчас, во время написания этого материала я уже работаю над новым клипом на песню в жанре синтвейв, под названием FIND ME, которую мы написали совместно с певицей GREENLY. В новом клипе я применяю иные технологии, которые, хоть выглядят существенно лучше, но всё ещё далеки от чего-то невероятного. И всё же, я решил начать своё повествование с самого начала, не забегая далеко вперёд. Когда вторая работа будет выпущена, тогда уже и расскажу о новом опыте.
К слову, трек FIND ME уже вышел на всех цифровых площадках, а его клип появится на YouTube-канале уже совсем скоро, 25.11.23, поэтому прошу поддержи наш релиз. Дополнительный анонс будет в социальных сетях у меня и GREENLY.
Так, с чего же начать работу над клипом?
1. ИДЕЯ
Начало работы - на мой взгляд, самый сложный этап. Здесь нужно понять идею своего творчества. Как говорится: "Нет идеи - нет ИКЕИ!"
В моём случае у меня было от чего отталкиваться, так как трек "Jakten på Fenrir" уже красовался на площадках. У него была готовая обложка, а значит и ориентир для создания визуальной составляющей тоже был.
Тебе же надо будет понять самостоятельно, о чём именно твоя композиция, а затем попытаться отобразить либо прямой, либо потаённый смысл на нейросетевом холсте, чтобы передать этот образ зрителю и подчеркнуть глубину твоей работы.
2. КАК ВИЗУАЛИЗИРОВАТЬ ИДЕЮ
Допустим, ты определился с тем, что должно быть показано в твоём клипе. Даже продумал несколько подсюжетов. Что делать дальше? Ответ прост!
На данный момент существует множество платных и БЕСПЛАТНЫХ нейросетей, которые создают изображение по текстовому запросу. Ниже приведу небольшой список тех, которыми я когда-дибо пользовался:
• DALL-E от OpenAI
Одна из самых известных нейросетей. Уже доросла до третьей версии, интегрированной в другой продукт компании OpenAI под названием ChatGPT. О нём, думаю, уже слышали все, кто заходит интернет!
Даже для бесплатной версии нужен аккаунт OpenAI, который не так-то просто в наше время в России. Каких-то крутых результатов в бесплатной версии я не добился. Видимо не понимаю как с ней правильно работать, однако в интернете её хвалят.
Если же ты счастливчик и у тебя есть премиум-аккаунт, то у тебя есть два способа взаимодействия с улучшенной версией алгоритма внутри ChatGPT. Скорее всего, это уже будет алгоритм DALL-E 3. Вот тут уже можно добиться чего-то интересного...
Платный подписчик может обратиться за генерацией изображения непосредственно в сам чат или же воспользоваться отдельной вкладкой на панели с логичным названием "DALL-E"
Из огромных минусов могу отметить тот факт, что даже если у тебя есть аккаунт, то часто можно нарваться на перегрузку сервера из-за наплыва желающих что-то создать или спросить у ChatGPT.
Также в бесплатной версии есть ограниченное количество токенов на запросы для генерации изображений. К слову, токенов дают приличное количество. Их хватит за глаза и за уши, чтобы оценить сервис, да и раз в определённый период времени они восстанавливаются. И это хорошо! Но вот что не хорошо, так это качество генерируемых изображений алгоритмом для бесплатных пользователей. Когда сравнишь эти результаты с платной версией, то всё поймёшь сам.
Идём дальше...
***
• MIDJOURNEY
Очень известная нейросеть. Работает через Discord. В меру гибкая по настройкам, в отличии от подавляющего большинства её аналогов. Что-то в Midjourney есть особенное. Пока у меня была возможность наслаждаться генерацией изображений именно в ней, я старался использовать потенциал нейросети на всю катушку.
Несмотря на всю умопомрачительность этой нейросети, отмечу, что в отличии от Stable Diffusion (о которой речь зайдёт позже), у Midjourney нет такой же гибкости в настройках. Если тебе понравилось изображение - круто, если нет, то отредактировать его ты не сможешь. Генерируй заново и надейся на удачу. Но это проблема не только данной нейросети, но и большинства других, что попадутся тебе в сети. Тем не менее Midjourney предусматривает огромное количество команд, которыми ты можешь дополнить промпт, чтобы получить воистину невероятные арты. Если ими не пользоваться, а давать запрос только "человеческим языком", существует вероятность получать обычные "пресные" арты, которых мы за всё время существования генеративных нейросетей уже видели десятками, а то и сотнями тысяч! Благо, легко обучиться этим премудростям поможет встроенная справка и множество гайдов в интернете.
К моему великому сожалению, теперь у Midjourney только платная подписка и бесплатно ничего она нам генерировать не будет! Раньше бесплатно давалось 25 запросов для нового аккаунта, чтобы протестировать сервис. Кто-то из особо заинтересованных пользователей с помощью этой возможности и нескольких лазеек в Discord умудрялся создавать неограниченное количество артов, но те золотые времена давно прошли...
p.s. Я пытался уговорить пользователей Discord, чтобы они выделили мне ВСЕГО ОДИН ЗАПРОС, но мне долго никто не отвечал. Я, уж было, подумал, что мир остался без добрых людей и примера работы Midjourney с идентичным для всех героев этой статьи запросом не будет. Однако, под вечер мне ответил пользователь из Турции с ником "namaste", который любезно согласился мне помочь.
Эти арты ещё раз заставляют меня осознать, за что я так люблю именно эту нейросеть, несмотря на ряд её минусов и ограничений...
P.S. В качестве благодарности "namaste" за его помощь, я хочу поделиться с тобой ссылкой на его канал с успокаивающей музыкой.
***
• "Midjourney" в ТЕЛЕГРАМ.
Мои друзья пользовались "бесплатной Midjourney" в телеграм и рассказали мне об этом. Называется эта нейросеть "Plasma_GPT_AI_Bot". Я решил проверить её самолично и, если честно, то она генерирует весьма неплохие арты, но..
Если ты пользуешь бесплатной версией и у тебя нет подписки на бот, то изображения генерирует НЕ МИДЖОРНИ! Это важно понимать. Если честно, то я не знаю на основе какой нейронки работает "фейкджорни", но кто раз видел арты от настоящей модели, тот ни с чем их не перепутает.
Кроме генерации изображений, бот предоставляет и другие услуги, вроде доступа к ChatGPT.
Я с опаской отношусь к оплате сервисов в ТЕЛЕГРАМ и настоятельно рекомендую трижды подумать, прежде чем платить неизвестному разработчику. Кто знает к каким последствиям это может привести!?
Я не говорю, что бот в телеге генерирует плохие изображения! Отнюдь нет! Работы получаются весьма хорошие. По крайней мере, применение в нашем контексте им можно найти легко.
***
• Leonardo.AI
Leonardo.ai - это онлайн-платформа, которая помогает людям создавать и редактировать изображения. С её помощью можно делать красивые изображения, как с помощью текстового запроса, так и с помощью алгоритма "image to image". Нейросеть предлагает пользователю разные инструменты, огромное разнообразие моделей обучения нейросети на все случаи жизни и эффекты, которые можно применять к изображениям, чтобы сделать их более интересными и креативными.
Для использования нейросети нужны токены, но не стоит из-за этого переживать. На день их даётся аж целых 150 и этого, я думаю, тебе будет достаточно! В начале нового дня они обновляются.
Однако, у Leonardo.ai есть и некоторые минусы. Например, для полного доступа ко всем функциям и инструментам платформы может потребоваться платная подписка. Кроме того, работа с платформой может потребовать определённых навыков и времени, особенно если редактирование требует сложных эффектов или анимации.
***
• LimeWire (ex-BlueWillow)
С нейросетью BlueWillow я познакомился, когда искал альтернативу, помахавшей на прощанье халявщикам ручкой, MIDJOURNEY.
Общий принцип работы эти нейросетей совпадал. Заходишь в Discord, открываешь соответствующий чат, даёшь команду "/imagine" и пишешь свой промпт. Разница была в том, что никаких ограничений на запросы не было от слова совсем. Хоть сутки напролёт генерируй.
В целом, "BlueWillow" была достаточно не плохой альтернативой, по крайней мере на первый взгляд. И всё же я очень быстро стал осознавать, что данная нейросеть не заменит мне полюбившуюся "Midjourney". Именно поэтому я перестал к ней обращаться и стал искать что-то другое.
Это не значит, что "BlueWillow" является на мой взгляд какой-то плохой. Здесь можно получить хорошие арты, но лично мне она не подходила, так как я уже знал, что хочу видеть!
Во время написания этой статьи я решил проверить как наш герой поживает, ведь мы не виделись очень долго и оказалось, что в Discord наша нейросеть работает только по платной подписке, а если хочешь что-то генерировать бесплатно, то переходи на сайт "LimeWire". Собственно, как я понял, теперь "BlueWillow" так и называется, "LimeWire".
Кроме нововведений в виде сайта и смены названия, мы получили и ограничения на 20 ЗАПРОСОВ В ДЕНЬ, что на мой взгляд, вообще очень грустно!
Тем не менее, что-то уникальное в этой нейросети есть, поэтому я бы не отбрасывал её сразу в утиль и дал ей шанс. Всё-таки, порой, одна и так же нейросеть может надоесть и тогда какая-никакая, но альтернатива будет весьма кстати! А мы идём дальше!
***
• ШЕДЕВРУМ от ЯНДЕКС
Сайт у этой нейросети есть, но творить прямо здесь у тебя не получится. Попросят скачать приложение на смартфон. Всё творчество будет сосредоточено там!
Процесс создания артов крайне примитивен. Пишешь запрос и тебе предлагают четыре варианта изображения в миниатюре. Ты должен выбрать только одно из них. Все остальные варианты исчезнут безвозвратно! При этом миниатюры нельзя полноценно приблизить, чтобы сделать свой выбор более осознанно. Да, можно зажать пальцем один вариантов, и он приблизится, но миниатюра, всё-таки остаётся сравнительно небольшого масштаба, учитывая размер экрана смартфона! Надеюсь, что владельцам планшетов повезло хотя бы чуть-чуть больше...
Ну, а если хочешь посмотреть, что у тебя вышло, так сделай пост в публичное пространство платформы. Тогда и апскейл изображения получишь, и скачать свой арт разрешат!
Несмотря на ряд негативных заявлений, и тут попадаются красивые работы. Я нахожу их достаточно самобытными, и как ты уже понял, для меня это огромный плюс. Большинство платформ просто берут "Stable Diffusion" и накручивают на неё свой интерфейс, а здесь подход уникальный и авторский.
Хочется верить, что все ограничения, которые мы получили при работе с Шедеврум, здесь присутствуют не с проста и у них есть конкретная идея в задумке. Ещё больше я надеюсь, что эта идея не заключается в том, чтобы усложнить нам жизнь.
В качестве итога скажу, что не писал бы здесь об этой платформе, если бы лично не считал её достойной внимания.
***
• Stable Diffusion от Stability AI
Stable Diffusion - это, наверно, это самая гибкая и самая настраиваемая генеративная сеть их тех, что я видел. А как ты уже наверно, понял, видел их я много! В сети есть как упрощённые онлайн-клиенты для работы с ней, так и оффлайн-клиенты, требовательные к железу. Однако оффлайн версия, обычно, имеет более широкий список возможностей...
Для Stable Diffusion существует множество обученных моделей на любой вкус и цвет. Вот тебе и киберпанк, вот тебе и аниме, вот тебе и реализм. Хочешь что-то погорячее? Тогда тебе сюда...
И самое крутое, что все эти прелести будут доступны тебе АБСОЛЮТНО БЕСПЛАТНО! Уровень детализации итого изображения будет зависеть только от тебя.
В то же самое время, получить хороший результат в Stable Diffusion новичку будет очень сложно. Например я - новичок и только начал осваивать её огромнейший набор параметров. Пока у меня получается что-то страшное, но я знаю, что эта нейросеть может выдавать результат не хуже моего любимого Midjourney. В умелых руках Stable Diffusion запросто даст тебе качество, вроде того, что сгенерировал мой друг, артист AlaeLam.
В Stable Diffusion всё будет решать твоё умению правильно составить промпт, навык подбирать подходящие параметры нейросети и грамотно выбирать подходящую для твоего случая модель.
Я понимаю, что не каждый хочется разбираться со сложными аспектами. Куда проще просто вводить запрос и выбирать картинку, которая понравится, поэтому мы переходим к крайнему гостю моей рубрики...
Забегая вперёд, скажу, что если установить Stable Diffusion на свой ПК и добавить в неё дополнение Deforum, то видео можно будет генерировать прямо, не отходя от кассы. Но об этом будет вторая часть статьи, ибо тема реально отдельная....
***
• Kandinsky 3.0 (Fusion Brain) от SBER AI
Kandinsky 3.0 - это ещё одна отечественная разработка, которая причём очень активно развивается. Буквально на днях в неё добавилась функция генерации видео по текстовому запросу, но так как мы в этой статье делаем акцент на алгоритме "img2img", то пока оставим эту функцию без особого внимания!
К ней мы ещё вернёмся, обещаю, но позже...
Рабочая область нейросети чем-то напоминает Leonardo.AI, который вышел раньше, чем творение Сбера. Несмотря на это сходство, Kandinsky 3.0 является весьма самостоятельным проектом. Он очень вырос в моих глазах, и я открою тебе маленький секрет. Основу обложки для трека "Jakten på Fenrir" я делал именно в Kandinsky, правда ещё тогда он был первой версии с меньшим функционалом. Казалось бы, это было так недавно, а уже так всё тут поменялось...
Нейросеть позволяет выбрать один из нескольких стилей рисовки, перерисовать нежелательный элемент изображения, а также. как я уже сказал чуть-чуть ранее, теперь мы имеем возможность генерировать небольшие видеофрагменты по текстовому описанию длительностью до четырёх секунд.
Если тебя устроит такой видеофрагмент, то этапы с генерацией изображений и их последующей конвертацией в видео ты можешь пропустить. В теории, ты можешь сразу переходи сразу переходить к этапу, где я "апскейлю" видеофрагменты, но я бы рекомендовал тебе идти последовательно вместе со мной!
Вот такие изображения мне выдал Kandinsky 3.0 на идентичный предыдущим нейросетям запрос!
Честно говоря, то ли запрос у меня был другой, то ли что-то поменялось в алгоритмах, но новые результаты очень отличаются от того, что делала первая версия. Они не хуже, но они кардинально другие. Такие же разительные изменения я заметил, когда вышла вторая версия.
Да, не всегда Kandinsky 3.0 выдаёт адекватные изображения, но тем не менее у пользователя есть достаточная вариативность в действиях при работе с нейросетью. Может быть здесь нет той гибкости настроек, что была у Midjourney, и уж тем более у Stable Diffusion, но качество изображений лично для меня оказалось достаточным, чтобы я доверил творению Sber.AI создать обложки для моих работ "Jakten på Fenrir" и "The Whispers of a Distant Future". Однако, и первая, и вторая обложка в последствии были подвергнуты редакции и пост-обработке.
***
Я бы мог рассказать ещё про несколько нейросетей, например "DreamAI" или приложение "Imagine" и так далее, но смысла в этом особо нет, так как их функционал будет сильно уступать всем героям моей статьи, которым я уже дал какое-то описание.
Я думаю, что теперь у тебя есть исчерпывающий список различных нейросетей, которые позволят тебе сформировать представление о желаемом визуальном образе твоего будущего клипа. Ты можешь попробовать каждый алгоритм и понять какой подходит исключительно тебе.
Я лишь могу посоветовать тебе создать несколько визуальных сюжетов, чтобы клип смотрелся более динамично! А мы идём дальше...
****
3. КОНВЕРТАЦИЯ ИЗОБРАЖЕНИЯ В ВИДЕО \ АНИМАЦИЮ (IMG2VIDEO)
Допустим, у тебя есть изображения. Что делать дальше?
Настало время поговорить об онлайн сервисах, которые не будут потреблять ресурсы твоего устройства и исключительно собственными мощностями преобразуют полученное тобой изображение в анимацию\видео.
***
• MS-Image2Video
Как я уже сказал, алгоритм MS-Image2Video (надеюсь, временно) не работает!
На случай, если он заработает, твои действия будут такими....
Ты выбираешь изображение, жмёшь кнопку "Submit" и ждёшь результат. В итоге на выходе мы получаем четырёхсекундный фрагмент с разрешением 448x256 и фреймрейтом 8 кадров в секунду. Очень "шакальное" качество, знаю...
Дальше арифметика простая! Берём длину твоей композиции в секундах и делим на 4 (длину одного фрагмента). В идеальном мире ты получишь количество фрагментов, необходимых для формирования видеоролика. Но мы живём не в идеальном мире. Кадр тут, кадр там и может набежать несколько дополнительных фрагментов...
Теперь, я думаю понятно, почему графика в клипе такая мыльная. Я вытянул из исходников максимум, конвертировав их в 4k 30 fps ролики. О том как я разгонял фреймрейт и разрешение, я расскажу в следующем пункте, а пока расскажу об альтернативах MS-Image2Video.
• Video Diffusion - img2vid - XT
Video Diffusion - img2vid - XT - это алгоритм по превращению картинок в видео, основанный на алгоритмах Stable Diffusion, который работает онлайн и БЕСПЛАТНО, благодаря платформе huggingface. Я бы сказал, "ВАУ! НАВЕРНО, БУДЕТ ЧТО-ТО КРУТОЕ!". Но не спеши радоваться раньше времени...
Во-первых, нейросеть постоянно перегружена. Очень сложно просто запустить сам процесс преобразования.
Во-вторых, сам процесс конвертации может заткнуться очень надолго. Выделенной сервером мощности едва хватает на то, чтобы открыться. Ни о какой продуктивной работе тут речь не идёт! Пример со скриншота выше вообще решил, что генерация должна идти бесконечно и продолжал что-то делать спустя примерно два часа. Я принудительно завершил этот процесс.
В-третьих, если же ты дождёшься результат работы этого алгоритма, то поймёшь, что это того не стоило. Словами тут не описать. Это нужно раз увидеть, хотя в данном случае, предлагаю просто поверить мне наслово, чтобы не тратить напрасно своё драгоценное время...
• LeiaPix
Нейросеть под названием "LeiaPix" показалась мне куда интереснее, но людям, чей вестибулярный аппарат слабоват, лучше воздержаться от её использования.
Алгоритм создаёт глубину изображения и затем начинает циклично качать объект в кадре. Нам дают управлять несколькими параметрами, чтобы настроить движение в кадре на свой вкус. Выглядит весьма круто и даже можно сохранить результат к себе на компьютер. В зависимости от формата и разрешения, анимация будет либо бесплатной, либо за плату всего в несколько токенов.
Пока не ясно, обновляются ли токены со временем, но при регистрации баланс равен числу 300.
Тем не менее, я не думаю, что на подобном эффекте можно построить целый клип. Несмотря на то, что результат работы LeiaPix выглядит вполне себе качественно и эффектно, но укачать может запросто, если долго смотреть на такие танцы. Поэтому я могу предложить тебе не злоупотреблять данной нейросетью и пользоваться ей с умом.
• Gen-2 от Runway
Gen-2 от Runway - это активно развивающийся проект от компании Runway, в копилке которых уже есть большое разнообразие нейросетевых алгоритмов для работ с мультимедиа.
Алгоритм Gen-2 предлагает нам три способа взаимодействия с ним: генерация видео по текстовому описанию, генерация по изображению и генерация одновременно по изображению и описанию.
Как себя позиционирует Gen-2? Изначально акцент делался на то, что у пользователя уже есть видео с каким-то сюжетом и есть изображение с желаемым стилем отображения. Запускаем нейросеть и начинается магия. Стиль изображения волшебным образом переносится на исходное видео и в результате мы получаем совершенно новое видео. Но учитывая контекст статьи нас интересует та часть алгоритма, которая позволяет создавать видео по описанию и изображению.
Кроме того, Gen-2 позволяет нам менять некоторые свои настройки, что позволит добиваться более качественных результатов.
Результатом работы Gen-2 будет видеоролик со сносным разрешением 896x896 24 fps по 4 секунды. Это куда лучше, чем мог нам предложить алгоритм MS-Image2Video.
Скажу честно, что хоть на данный момент Gen-2 делает вполне качественные видеофрагменты, но всё же "шакальная" MS-Image2Video была куда креативнее. Тем не менее, я бы рекомендовал Gen-2 для использования.
Самым неприятным моментом может быть вотермарк внизу видео и ограниченное количество токенов, но с последней проблемой поможет только ждать обнуления этих токенов. Я же не буду советовать тебе плодить фейковые аккаунты! Не буду же? Но это ещё не всё...
****
• GENMO AI
Следующий алгоритм, о котором мы поговорим называется "GENMO AI".
В целом, принцип работы у нас уже привычный... Пишем описания, вставляем референсное изображение, однако никакого намёка на токены я не вижу, а креатив нейросети куда выше, чем у Gen-2.
Я не верю, что этот аттракцион щедрости будет длиться вечно, ведь все такие алгоритмы появляются лишь для того, чтобы в конечном счёте рубить бабло, а не развлекать нас, поэтому пользуйтесь пока есть возможность.
Также нам дают возможность менять настройки алгоритма, причём впервые мы можем выйти за 4 секунды. Нам дают выбрать между длительностью ролика в 2, 4 и 6 секунд.
В итоге, после подтверждения запроса, мы получим два видеофрагменты выбранной длительности с разрешением 1728x1728 15 fps. Это впечатляет.
Возможно, не с первого раза, но результат работы GENMO AI меня бы устроил, если учесть с какими исходниками я работал над клипом. Даже, немного жалею, что в тот момент не знал о таком крутом инструменте для реализации своей задумки как GENMO AI.
***
• LensGo.ai
Из всего представленного мной списка LensGo.ai немного выбивается, так как данный ресурс не генерирует видео из картинки, а создаёт видео на основе другого видео! Не забываем писать текстовое описание к запросу.
Можно было бы не говорить про LensGo.ai вообще, но мне не жалко пары строк. Статья и так очень затянулась, но раз уж я взялся за неё, то пусть информация будет максимально исчерпывающей.
Я поигрался с алгоритмом LensGo.ai, пропустив через него видео из "GENMO AI" и понял, что всё не так уж и плохо, хотя психоделики к исходникам он добавляет изрядно. Этот алгоритм способен добавить дополнительного креатива в твои задумки, но платить за всё придётся ухудшением качества исходного ролика и вотермарком в нижнем левом углу.
Итоговое разрешение видео становится 728x728 c фреймрейтом 8 fps.
Я бы не стал отметать этот алгоритм полностью. Наоборот, скорее дал бы ему время. Скорее всего, как и многие другие нейросети он может в будущем эволюционировать во что-то большее, да и применение ему, при желании, тоже найдётся, а мы переходим к следующему этапу работы над клипом.
****
4. АПСКЕЙЛ и УВЕЛИЧЕНИЕ ФРЕЙМРЕЙТА
Настало время рассказать о том, как превратить ролики с маленьким разрешением во что-то иное приличного размера, да и по возможности, чтобы фреймрейт у него тоже был приличным.
Каждый день выходят новые и новые нейросети, позволяющие увеличить разрешение видео, а также добавить им количество воспроизводимых кадров в секунду, чтобы придать роликам плавность. Не буду водить тебя за нос. Я не использовал ни одну из этих нейросетей ранее, но тем не менее я сделаю краткий обзор на несколько первых, что попались мне в поисковике. Каждую из них и ещё много других, что остались вне этой статья я только что самолично протестировал. Возможно, это как-то тебе поможет понять, что тебе подойдёт и что именно ты должен найти для себя. На том, что использовал лично я в своём клипе, я остановлюсь в конце этого этапа.
Почему я не начинаю рассказ со своего реального опыта? Исключительно потому, что используемая мной программа платная и требует производительного пк. Весь процесс апскейлинга и поднятия фреймрейта осуществляется непосредственно на моём ПК, но я понимаю, что многие не имеют такой возможности и ищут решение своей задачи онлайн. Именно поэтому сегодня я делаю акцент на онлайн платформы. И начнём мы с...
***
• "Video Quality Enhancer" от vmake.ai
Платформа vmake.ai предоставляет пользователю множество нейросетевых услуг, связанных с видео и изображениями, но нас здесь будет интересовать только одна. А именно "Video Quality Enhancer".
Разработчики обещают, что мы получим видео в разрешении 4k 30fps, а также предоставляют 5 токенов, чтобы мы опробовали их творение! Получим ли мы обещанное?
Я взял на пробу для "разгона" видео, созданное LensGo.ai, так как из ныне доступных алгоритмов он обладает наихудшими данными на выходе. Я буду лжецом, если скажу, что качество не улучшилось! Действительно, картинка стала чётче. Естественно, нельзя сделать шикарным изображение, которое изначально имеет мало информации, за которую способна зацепиться нейросеть, но разрешение выросло до 1440x1440, да и картинка, стала в чём-то поприятнее, но 8 fps так и остались 8 fps. Разве, что значение количества кадров стало иметь цифру после точки (8.17 к\с). А ещё куда-то пропала одна секунда видео, превратив из четырёхсекундный ролик в трёхсекундный. Что тоже не айс.
Не хотелось бы, чтобы лавочка закрылась, но что там было про 5 токенов? А вот что...
Так как я работаю с короткими фрагментами, то пятисекундное превью, если я правильно всё понял, можно скачать в обход оплаты. Наши фрагменты попадают под это условие и поэтому в данный момент времени услуга будет оказана нам бесплатно! Пусть так и продолжается.
Как итог, ресурс "Video Quality Enhancer" к использованию рекомендовать могу. За раз можно обрабатывать до трёх роликов, что тоже можно отнести к плюсам. Но вот почему меня обманули с 4k 30fps я не знаю и от этого есть небольшое осадочек. Однако, будем честны, в подобного вида роликах 30 fps не обязателен. Только в глазах может больше рябить, но тут уже дело вкуса, задумки и желания. Каждый сам дял себя ставит границы творчества!
***
• Upscale Video
Здесь долго останавливаться не буду. Скажу, что сервис Upscale Video быстро и БЕСПЛАТНО увеличивает качество и разрешение видео, однако если дать ему квадратный исходник, то он растянет изображение. Загружай сюда только горизонтальные видео.
Увеличения фреймрейта здесь не предусмотрено, но и на том спасибо! К слову, я сначала подумал, что качество самой картинки не улучшилось, но сравнив с оригиналом, понял, что изменения всё такие есть и большие, про сто внесены они существенно мягче, чем у других алгоритмов, которые мне встречались!
***
• TensorPix
Очередная платформа, позволяющая улучшить качество изображений и видео.
Нас будет интересовать режим "Video Enhancer".
На все наши эксперименты нам даётся всего один токен. Что можно на него сделать с исходным видео?
Если мы будем увеличивать разрешение исходного видео в 400 раз, а его плавность увеличим до 60 fps, то это обойдётся нам в 15 токенов. Таким образом мы сможем улучшить 6 видео, а дальше придётся думать, что же делать дальше. Ждать чуда или искать обход ограничений!
Важно сказать, что за процессом работы нейросети следить не обязательно. По факту выполнения задачи, тебе придёт письмо на электронную почту. Мои параметры были очень жёсткими и, соответственно, времени на их отработку тоже было потрачено много!
Спустя длительное время на выходе я получил ролик с разрешением 2880 x 2880, 16 fps.
Признаюсь, я расстроен, так как ожидал большего. В первую очередь я бы хотел видеть более быструю работу нейросети, а во-вторых, я рассчитывал получить хотя бы 30 к\с.
Пользоваться TensorPix или нет решать тебе. Идём дальше!
***
• AI4VIDEO.CO
Принцип действия нейросети прост. Выбираем конкретно алгоритм "AI Video Upscale", загружаем видео, ставим галочки как на скриншоте ниже и нажимаем на кнопку создания бесплатного превью на 5 секунд. Где-то мы это уже видели. Не так ли?
Ждём и получаем видео с вотермарком, но всё же 60 fps в разрешении 1080x1080. Напомню, что оригинальное разрешение было 728x728.
***
• Topaz Video AI
Я думаю, что если совместить несколько алгоритмов, то можно будет добиться и хорошего разрешения, и хорошего фреймрейта... Я проверил для тебя очень много разных других платформ, но описывать их нет ни малейшего желания, так как в сравнении с теми, о которых я уже рассказал, они по тем или иным причинам не будут конкурентно способны. Это и большая стоимость, и время работы, и несоответствие заявленным функциям... Но если ты знаешь действительно крутую нейросеть, которая доступна онлайн бесплатно, то поделись этой информацией со мной, чтобы в свою очередь я мог поделить ей со всеми остальными читателями.
Но что делать, если ни один из предложенных алгоритмов тебе не подошёл? Тогда, всё-таки, придётся раскошелиться и проверить на прочность свою видеокарту.
Речь пойдёт о палатной программе Topaz Video AI. О её аналоге для работы с изображениями мне рассказал коллега. Опробовав, я понял, что это то самое, что я ищу.
Здесь можно самостоятельно выставлять любое разрешение, фреймрейт, алгоритм, обрабатывать сразу несколько файлов, что существенно экономит время. Можно выбирать различные форматы и кодеки при экспорте, да и ещё много чего ещё. Я, в прямом смысле слова, влюбился в эту программу, но она достаточно требовательна к железу, и, в первую очередь, к видеокарте.
Цена вопроса покупки программы: $300, но она навсегда будет твоей и это огромный плюс. Именно Topaz Video AI позволил мне превратить ролики с разрешением 448x256, 8 к\с в 4k, 30 к\с и сделал он это максимально быстро и качественно.
А мы переходим к завершающему этапу...
5. МОНТАЖ ВИДЕО
На этом этапе каждый развлекается как хочет.
В первую очередь ты будешь исходить из того, какого разрешения и фреймрейта тебе удалось добиться при подготовке материалов для монтажа видео. От этого будет зависеть разрешение и фреймрейт твоего проекта.
Дальше надо определиться в какой программе ты будешь монтировать свой клип. Я работаю в Adobe After Effects. Всё верно, не в Adobe Premier, а именно в AE, так как лучше в нём ориентируюсь и привык им пользоваться с момента создания первых простых визуализаций для давно вышедших треков.
Ты же в свою очередь можешь выбрать абсолютно любую программу для монтажа видео. Их в наше время и платных, и бесплатных существует огромное количество. Дальше рецепт прост.
Закидываешь свой трек\бит\песню на таймлайн и представь то, как бы ты хотел, чтобы сменялись кадры под музыку. Я имею ввиду, что тебе нужно прочувствовать то, с какой скоростью один фрагмент на экране будет сменять другой. От этого будет зависеть динамика твоего клипа.
Если длины фрагмента не хватает, чтобы подчеркнуть динамику твоей композиции, а улучшением исходников ты, как и я, занимался в Topaz Video AI, то я могу тебе посоветовать вернуться на пару этапов назад и растянуть исходный фрагмент низкого разрешения до нужной длительности. После этого ты сможешь пересохранить его и вновь улучшить качество с добавлением пропущенных кадров.
Вот, собственно, и всё! По завершении подстановки кадров, отправляй свой клип на экспорт и жди, когда он отрендерится. А пока ты ждёшь, я предлагаю тебе провести это время с пользой.
Подписывайся на мои социальные сети: ДЗЕН, YouTube, ВК и Телеграм. У меня есть ещё много информации, которая способна тебя заинтересовать. Например, статьи о бесплатной раздаче VST-плагинов, видеоуроки по работе с плагинами или написанию музыки, да и много чего ещё.
А если захочешь поддержать мой канал чуть более материально, то загляни ко мне на Boosty. Все материалы к этой статье, я размещу там, а ссылки на описанные мной нейросети будут в ВК и Телеграм!
Я проделал огромную работу для тебя, поэтому мне будет безумно приятно увидеть ЛАЙК под этой статьёй. Пиши в КОММЕНТАРИЯХ свои впечатления от прочтения и делись своим опытом в работе с нейросетями. Естественно, я буду только рад, если ты СДЕЛАЕШЬ РЕПОСТ этой статьи в своих соц. сетях, чтобы как можно больше людей узнало о чудесах современной техники. Ну, а если сам сделаешь клип, то отмечай меня. С радостью его заценю!
Желаю тебе не болеть и всегда быть в тонусе!
На связи был SYNTH10 (СИНТ ТЭН)! До скорых встреч! Пока-пока!