Хотите создать видео для своей музыкальной композиции, но не знаете, как это сделать? В наше время это стало доступно практически каждому, кто имеет доступ к интернету и готов освоить нейросети. Ну, а я с радостью помогу Вам быстрее достичь желаемого результата!
Привет! Вы на канале SYNTH10 и я рад Вас приветствовать!
Привет!
Я уже писал несколько статей о том, как создать визуальное оформление для чего угодно с помощью нейросетей. Но поскольку мой канал посвящён музыке, я сосредоточусь на музыкальных клипах и для Ваших композиций. Однако хочу отметить, что материал, изложенный в этой и предыдущих статьях, может быть использован Вами в самых разных сценариях, которые Вы сами себе определите.
Безусловно, несмотря на то, что часть информации в предыдущих статьях уже устарела, тем не менее многое рассказанное мной будет актуально и полезно Вам сегодня тоже. Поэтому я настоятельно рекомендую Вам уделить внимание моим ранним материалам по теме. Там Вы найдёте множество отличных нейросетей и подходов к роботе, которые позволят Вам взглянуть на вопрос создания нейросетевых видео чуть шире, нежели Вы ограничитесь только этой статьёй, как бы хороша она ни оказалась.
ВНИМАНИЕ! ОБЯЗАТЕЛЬНО ПРОЧТИТЕ ЭТО ПЕРЕД ТЕМ, КАК МЫ ПОЙДЁМ ДАЛЬШЕ!
Эта статья предназначена ИСКЛЮЧИТЕЛЬНО для совершеннолетних людей с устойчивой психикой, способных принимать самостоятельные решения и нести ответственность за свои поступки. Когда вы читаете основную часть статьи, вы подтверждаете, что являетесь таким человеком.
Это предупреждение необходимо, поскольку результаты работы нейросетей могут быть непредсказуемыми и даже пугающими. Созданные видеофрагменты могут включать множество быстро сменяющихся визуальных образов, абстрактные психоделические видеоэффекты и мерцание кадров.
Я желаю вам крепкого здоровья — как физического, так и эмоционального. Если такой контент вызывает у вас негативную или даже опасную реакцию организма, пожалуйста, не читайте эту статью и не применяйте описанные в ней действия.
Если вы всё же решили продолжить чтение, хочу предупредить вас: я снимаю с себя ответственность за возможные негативные последствия, которые могут возникнуть в результате применения на практике информации из этой статьи. Я лишь делюсь своими знаниями, а как ими распорядиться — решать вам!
ПОЖАЛУЙСТА, ОТНЕСИТЕСЬ К ЭТОМУ ПРЕДУПРЕЖДЕНИЮ СО ВСЕЙ СЕРЬЁЗНОСТЬЮ!
***
Ну что же! Для тех, кто остался, продолжу.
Как и в предыдущих публикациях, я поделюсь с вами методом, который позволяет создавать видео из изображений — IMAGE to VIDEO. Однако в этот раз мы будем использовать его для создания бесшовного видео. Это значит, что у нас не будет отдельных разрозненных фрагментов, явно склеенных между собой. Всё, начиная с первого кадра и до последнего, будет выглядеть как непрерывный видеопоток.
В своей статье я поделюсь опытом, который приобрёл, работая над клипом к нашей совместной композиции с ELESSVR и MRS SINISTER под названием «ЗОВ ПУСТОТЫ».
Сразу хочу предупредить: эта песня тяжёлая и относится к жанру близкому к блэк-метал. Если вам не по душе мрачные образы с черепами и такой стиль музыки, то лучше не включайте клип. А всех остальных я с радостью приглашаю отправиться с нами в путешествие по далёкому, холодному и мёртвому космосу.
И как Вы уже поняли из названия этой статьи, в этот раз мы будем работать с китайским инструментом для творцов под названием KLING AI. У него есть свои сильные и слабые стороны, но тем не менее кто-то называет эту нейросеть «убийцей» ещё не вышедшего конкурента под названием SORA от нашумевшей американской компании OpenAI, создавшей перевернувшего весь мир с ног на голову всемогущего ChatGPT.
Насколько KLING AI хорош предоставлю судить Вам, но перед тем как мы начнём я хочу поблагодарить тех, кто внёс неоценимый вклад в развитие моего канал!
СПАСИБО ЗА ПОДДЕРЖКУ КАНАЛА ВЫРАЖАЮ:
• LOCUST SOUND
• АЛЕКСЕЮ МАКСИМОВУ
• ГЕРМАНУ БАРСУКОВУ
• HI BRO
• АЛЁНЕ ЛЁШИНОЙ
• АРТУРУ АНДРЕЕВУ
• СЕМЁНУ АРУТЮНЯНУ
• ЕГОРУ ПОПЕЕВУ
• АРТУРУ АНДРЕЕВУ
• ЮРИЮ КУДРИНУ
• ELESSVR и
• ЮРИЮ О.
Если Вы тоже хотите поддержать мой канал, то именно для Вас я создал профили на Я.Чаевые, Boosty, Donation Alerts и VK Donut. Для пользователей мобильного приложения Яндекс Музыка также доступна опция сделать пожертвование напрямую через карточку артиста SYNTH10. Это будет высшим пилотажем и может помочь мне получить дополнительные бонусы от Яндекса. Так что обратите внимание на этот вариант. Все Ваши пожертвования позволяют мне создавать ещё больше интересного контента!
Также посещайте мои аккаунты в социальных сетях. Не забудьте подписаться на меня в ДЗЕН, YouTube, ВК, Телеграм, RUTUBE, ПЛАТФОРМА, NUUM и ВК ВИДЕО. Вас ждёт много интересного контента!
Конечно же, поставьте ЛАЙК, оставьте КОММЕНТАРИЙ. Можете даже поделиться ей в своих социальных сетях.
Со всеми предисловиями покончено. А это значит, что мы наконец-то мы можем перейти к делу!
***
1. ПОДГОТОВКА К РАБОТЕ
Прежде чем приступить к созданию своего клипа, очень важно чётко представить себе, что вы хотите получить в итоге. Неважно, насколько мощные инструменты у вас в распоряжении, ВЫ — ТВОРЕЦ, и всё начинается с ВАШЕЙ задумки. Необходимо представить и тщательно продумать визуальный стиль, который будет соответствовать вашей композиции.
Да, вероятно, то, как наши нейросетевые помощники представляют себе нашу идею, будет сильно отличаться от нашего собственного понимания. Однако, чем яснее вы сможете описать свою задумку, тем больше шансов на успех.
Если с этим мы определились, то двигаемся дальше.
2. ГЕНЕРАЦИЯ ИСХОДНЫХ ИЗОБРАЖЕНИЙ
Когда вы определились с идеей, остаётся только одна задача — создать изображения, которые станут основой вашего видео. В предыдущих статьях я уже рассказывал о различных нейросетях, способных генерировать изображения. Каждая из них обладает своим уникальным стилем рисования, который не зависит от подсказок (промптов), которые вы им дадите. Выбирайте мудро!
В этот же раз я использовал бесплатного бота в telegram. Этот инструмент называется Neural Pony. Если он работает корректно, то использует алгоритмы одной из флагманских моделей DALL-E 3 от Stability AI. В случае возникновения проблем, Neural Pony автоматически переключается на выполнение запросов с помощью «нашего» Kandinsky 3.1 от Сбера. Эта нейросеть тоже весьма хороша в определённых задачах, поэтому каждый пусть выбирает сам, что ему больше по душе. В конце концов, на этих моделях список алгоритмов генерации изображений не заканчивается.
Как же пользоваться Neural Pony? Всё очень просто!
Прежде всего, необходимо подписаться на канал нейросети. Затем в общем чате пишем команду "/image", а после через пробел указываем, что именно хотим получить: стиль изображения, сюжет и любые другие детали, которые покажутся вам важными.
Вы можете формулировать свой запрос как на английском, так и на русском языке, что очень удобно для тех, кто по какой-либо причине не хочет использовать иностранный язык. Я, например, привык писать подсказки на английском, потому что не все нейросети позволяют выражать свои мысли на родном языке.
Немного ждём и видим на экране четыре изображения. Если всё Вас устраивает — сохраняем на своё устройство. Если не нравится, то генерируем снова и ожидаем. Если и в этот раз что-то пошло не так, то либо меняем подсказку, либо ищем другую нейросеть для генерации изображений.
Обратите внимание, что Neural Pony генерирует квадратные изображения, а видео, скорее всего, Вы хотите получать с соотношением сторон 16:9. Стоит учитывать этот факт в выборе подходящей Вам модели для генерации изображений.
Что касается меня, то вопрос соотношения сторон меня ничуть не смутил и мой промпт, как и раньше, создал именно то, что я хотел. Я думаю, несложно провести параллель между этими изображениями и готовым клипом, который я разместил в начале статьи.
Помните, что чем больше у нас будет изображений, тем проще будет с ними работать, даже если ваша цель не заключается в создании бесшовного видео. Каждый фрагмент готового клипа будет длиться примерно пять секунд. Используйте эту информацию, чтобы понять, сколько изображений необходимо сгенерировать.
Напоследок, прежде чем мы перейдём на сайт KLING AI, позвольте дать вам небольшой совет. У видеофрагментов, созданных нейросетью в бесплатной версии, на момент написания этой статьи в правом нижнем углу будет присутствовать водяной знак. Чтобы избежать его нежелательного появления на полезной части видео, вы можете заранее поэкспериментировать с добавлением отступа чёрного или другого цвета на каждое из ваших изображений. Таким образом, после генерации видео водяной знак нейросети может оказаться в этом отступе и не мешать вам при монтаже. Однако даже этот приём не всегда срабатывает. Здесь вам придётся действовать методом проб и ошибок, принимая решения на основе полученного опыта.
3. ДОСТУП К САЙТУ "KLING AI"
Итак, мы создали много изображений. Пора открывать наш KLING AI.
И вот тут нужно быть внимательными.
KLING AI — это китайская нейросеть, и изначально она была ориентирована на свой внутренний рынок. Сайт платформы был исключительно на китайском языке, что, конечно, решалось с помощью встроенного переводчика в браузере, но был нюанс, который преодолеть было подвластно далеко не каждому. Регистрация была доступна только по китайскому номеру телефона.
Благо, у сайта появилась «европейская версия». Ссылку на неё смотрите на скриншоте ниже, так как вставка прямой ссылки в статью может привести к проблемам с поддержкой Дзена.
Очень ВАЖНО отметить, что иногда при посещении страницы вылезает сообщение, что «сайт может угрожать безопасности вашего компьютера».
Я ни в коем случае не призываю Вас игнорировать подобные сообщения. Если сомневаетесь, то ничего не делайте. Закрывайте страницу и найдите себе иное дело.
Что касается меня, то на мой взгляд мы пытаемся посетить официальный сайт KLING AI, предназначенный для «неграждан» Китая, где нам будет доступна беспроблемная регистрация аккаунта. Решать только Вам, оставаться или уйти, но лично я, как Вы поняли, нажал на кнопку «Игнорировать это предупреждение».
Совершил ли я роковую ошибку или же нет — узнаем в будущем. Но отнеситесь со всей серьёзностью к своему выбору самостоятельно. Я лишь даю информацию, а что с ней делать — решать только Вам. Соответственно, если Вы идёте дальше, то Вы берёте ответственность за свои поступки и их последствия на себя.
4. ГЕНЕРАЦИЯ ВИДЕОФРАГМЕНТОВ
Если Вы дошли до этого шага, то мы перешли к самой интересной части этой статьи. Настало время генерировать видео, но для начала нам понадобится аккаунт (или аккаунты)!
• Если увидели такое окно, то жмём "I Got It".
• В правом верхнем углу открывшегося нам интерфейса видим надписи «Sign in for free credits» и «Sign In». Не принципиально, на что Вы нажмёте, но я нажимал на «Sign In».
• Жмём "Sign up for free".
• Дальше всё просто. Я уверен, что Вы делали подобное сотни или тысячи раз. Вводим электронную почту и создаём пароль. По этой электронной почте Вы будете попадать в свой аккаунт KLING AI.
Собственно, вот теперь мы действительно готовы к работе. Создавать наши видеофрагменты мы будем за внутреннюю валюту, которая называется кредиты. Их количество можно увидеть в правом верхнем углу, где мы переходили к регистрации на платформе.
Изначально давалось по 60 кредитов в день, но иногда их дают больше. Честно говоря, не знаю, с чем это связано. Важно понимать, что за одну генерацию пятисекундного видеофрагмента с нас будут брать в среднем 10 кредитов. Соответственно, в один день Вы можете создать примерно шести видеофрагментов длиной около 5 секунд. (Если у Вас в планах создать что-то масштабное, я бы задумался о создании нескольких аккаунтов, чтобы Ваш шедевр не ждал своего часа недели, месяцы или, не приведи случай, годы.)
Чтобы перейти к генерации видео найдите в левой части экрана слова "AI Video" и нажмите на них.
• На бесплатном тарифе KLING AI нам будут доступны далеко не все функции и опции платформы. Да и сам алгоритм генерации нам предлагают только "KLING 1.0", что будет сказываться на качестве видеофрагментов, но нам пока этого будет достаточно.
Я экспериментировал с разными способами взаимодействия с платформой. Например, я пытался создать видео по текстовой подсказке и по одному исходному изображению, но достичь желаемого результата мне так и не удалось.
При таких настройках KLING AI обрабатывал мой запрос около трёх дней, а затем выдавал ошибку и просил повторить попытку. Повторная генерация также не приносила успеха. Однако, когда я попробовал создать видео по двум изображениям, результат меня порадовал. Поэтому в этой статье я решил сосредоточиться именно на этом методе.
Этот метод очень прост в использовании. В первое окно необходимо поместить изображение, которое станет первым кадром вашего видеофрагмента, а во второе — последний кадр.
• Соответственно, чтобы создать бесшовное видео, при следующей генерации необходимо переставить закрывающее изображение в начало процесса и выбрать новое изображение для завершения вашего видеофрагмента.
Важно помнить, что не каждое изображение можно легко преобразовать в другое. При выборе исходных изображений стоит учитывать, насколько легко нейросети будет создать плавный переход от первого кадра к последнему. В противном случае вы рискуете потратить впустую свои драгоценные кредиты и, возможно, будете вынуждены заново создавать корректный фрагмент.
5. МОНТАЖ
• Допустим, у Вас хватило терпения и аккаунтов, чтобы сгенерировать достаточное количество видеофрагментов. Что теперь с ними делать?
• Теперь открываем Ваш любимый видеоредактор. Закидываем туда Вашу аудиодорожку и все видеофайлы.
Не буду рассуждать о структуре проекта, так как у каждого свои представления о том, как должен строиться рабочий процесс. Если говорить в общих чертах, то вы начинаете последовательно соединять свои видеофрагменты под музыку, в результате чего создаётся почти непрерывный видеоряд.
Не все фрагменты будут идеально подходить друг к другу, но это не страшно. Иногда для достижения дополнительной плавности видеоряда вы можете немного надвинуть один фрагмент на другой с затуханием в несколько кадров. Также возможно растянуть или ускорить некоторые фрагменты.
Как говорится, делайте так, как велит вам ваша душа. Главное, чтобы результат вас радовал.
• Если Вы, как и я, заранее не подготовили исходные изображения и они были у вас квадратные, то лично я делаю следующее. Создаю новую композицию внутри проекта с разрешением 1920 x 1080 и помещаю туда ту композицию, где мы состыковывали квадратные видеофрагменты, и затем масштабирую её так, чтобы найти компромисс между сохранением важных деталей видео и скрытием водяного знака.
• Далее можете как-то украсить Ваше видео, с помощью эффектов, цветокора и того, что Вам покажется необходимым. Лично я создал эффект падающего пепла, раздуваемого ветром, что добавило моему клипу динамики и даже немного склеило разрозненные видеофрагменты. После чего я попытался улучшить качество картинки с помощью сторонней программы Topaz Video AI.
Буду честен с вами: из-за ряда факторов, таких как квадратные исходные изображения, которые пришлось масштабировать и обрезать, бесплатная версия KLING AI и то, что я впервые создавал видео таким способом, я допустил некоторые ошибки. Сама стилистика изображений, созданных в стиле гравюры тоже накладывала свои нюансы. Всё это привело к тому, что финальный облик клипа получился не совсем четким, хотя я старался улучшить его с помощью дополнительных обработок.
Тем не менее я получил ценный новый опыт, который могу передать вам. Вы можете учесть мои ошибки и сделать свой клип гораздо качественнее и лучше! Чего я Вам от всей души желаю!
***
Перед тем как я начну с Вами прощаться, хочу сделать Вам небольшой подарок. Если Вы пишете музыку, то специально для Вас я создал музыкальный анти-лейбл «НЕ НОУЙНЕМ», который был создан на основе одноимённой рубрики, выходящей на моём канале целых 10 месяцев.
Вступайте в сообщество и делитесь своей музыкой АБСОЛЮТНО БЕСПЛАТНО! Предложенные новости сообщества открыты для Вашей музыки. Моя цель — познакомиться с интересными и творческими людьми, а также посильными способами дружески помочь Вашему творчеству. Так что не стесняйтесь. Буду рад познакомиться и бескорыстно поделиться Вашей музыкой с другими.
Я надеюсь, что мне удалось рассказать Вам что-то полезное, что поможет Вам реализовывать Ваши творческие идеи новым образом. Если это так, то поставьте ЛАЙК этой статье и оставьте КОММЕНТАРИЙ.
Напомню, что Вы можете подписаться на меня в ДЗЕН, YouTube, ВК, Телеграм, RUTUBE, ПЛАТФОРМА, NUUM и ВК ВИДЕО. Да, я есть много где! Так Вы в полной мере сможете взять от меня максимум того, чем я могу с Вами поделиться.
А если Вы хотите поддержать мой канал, то воспользуйтесь сервисами: Я.Чаевые, Boosty, Donation Alerts, VK Donut и мобильным приложением Яндекс Музыка через карточку артиста SYNTH10. Все Ваши пожертвования в итоге пойдут на создание чего-то нового для Вас.
Я от всей души благодарю Вас за прочтение этой и других статей на канале. Будьте здоровы, счастливы и пусть муза всегда будет рядом, когда Вы её позовёте.
На связи был SYNTH10. До скорых встреч!
Пока-пока!