Когда вы видете клип, сделанный с помощью нейросетей, у вас возникает вопрос: как называется эта нейронка? И сейчас я отвечу вам. Да, искусственный интеллект может сделать целое кино (вопрос цены), но в одной нейронке это сделать невозможно. Давайте посмотрим порядок действий и необходимые нейросети, которые понадобятся начинающему клипмейкеру (или, как это по-русски, "создателю видео"), если он хочет работать с нейросетями. Рассмотрим музыкальный клип, сделанный с помощью искусственного интелекта. Всё по порядку.
1. Во-первых, нужна идея
Без идеи - вообще никуда. С нее всё начинается, даже если она еще слабо сформирована в сознании, но нейротворец уже нащупывает ее своим вниманием. Я буду рассказывать на примере своего детища - клипа на песню нейро-группы Тамплиеры "Сказание о Свете". В конце статьи дам ссылку на результат.
Так вот идея этого клипа родилась у меня в голове, поэтому работать с ней было очень легко. Творческие люди меня поймут - всё происходило на одном дыхании, хоть и несколько дней. Да, создание подобного музыкального клипа - это далеко не пятиминутный процесс. Но, когда ты движем идеей, ты вдохновлен, время протекает в большом душевном подъеме, это радость, которая не похожа на рутину.
Простите за лирическое отступление, вернемся к идее. Если идеи нет, или она слабо сформирована, то для ее развития подойдет любая нейронка, работающая с текстовым запросом. Например, ChatGPT.
2. Слова
Если на первом этапе не сформировались слова, то вторым этапом нам нужен текст. Я брала свои собственные стихи - это и была идея, откровенно говоря. Но если стихов нет, то на втором этапе мы пишем текст, чтобы облечь идею в стихотворную форму. Тут тоже может помочь любая текстовая нейронка, но готовый красивый текст, она вряд ли выдаст. ChatGPT может помочь с рифмой или канвой, но докручивать текст всё равно придется вручную - на данный момент нейронки не такие умные. Вы можете взять любые готовые стихи, но если планируете это дело монетизировать, то не забывайте об авторских правах.
3. Музыка. Песня
И вот, у вас есть и идея, и слова. Поздравляю! Это реально много, дальше будет самое интересное. Теперь нам понадобиться нейросеть, работающая с музыкой. Я использовала Suno. С этой нейронкой я создала порядка 50 вариантов музыкальных композиций, пока мне не зашел один из них. Я не исключаю, что Suno может сразу выдать шедевр (это очень крутая нейронка). Но пока не поиграешь со стилями, голосами, музыкальными инструментами, вряд ли поймешь, что ты реально хочешь услышать, и что прописать в промте.
4. Артист
Когда передо мной лежала готовая музыкальная композиция, я стала думать об артисте. Как должен выглядеть обладатель этого голоса? Пол был ясен еще на третьем этапе, а вот возраст и внешность стала формироваться лишь на четвертом. И дальше пошел творческий процесс с внешностью артиста в нейросети Nano Banana. Может подойти любая другая нейронка, работающая с изображениями, но я люблю эту.
Вот такого красавчика мне предложила Nano Banana по запросу. Красивый, но представить его на сцене невозможно. Это скорее модель элитной парфюмерии или дорогих брендов одежды. Мне нужен был музыкант, певец, солист. Одним словом - творческая личность. Тогда я мысленно прикинула, как он изменится, если его переодеть и сделать другую прическу. Я не стала делать другую внешность, я стала работать с этой. Результат меня порадовал:
Круто меняется образ и восприятие. Мы видим те же черты лица, но образ совсем другой. И здесь он уже легко ложиться и на голос, и на идею клипа.
При создании персонажа я одеваю его в разную одежду, ибо знаю, что в клипе будет и современный концерт, и маленькое кино в историческом стиле.
На этом же этапе (или чуть позже) необходимо такую же работу проделать со всеми персонажами клипа. У вас на руках должны быть портреты в нужной одежде каждого героя. В моем случае - это все участники музыкальной группы. Каждого я генерировала отдельно, и в двух образах: для концерта и для кино. Полистайте карусельку - мальчики получились все красавчиками, на любой вкус).
Кто больше понравился? Пишите в комментариях).
5. Кадры из клипа
Когда готовы персонажи, можно работать с кадрами из клипа. Необязательно делать все кадры сразу, можно работать с ними постепенно, переходя от пункта 5 к пункту 6, и обратно. Кадры я делала в той же нейронке - Nano Banana, но меняла параметры запроса и камеру.
6. Создание видео
Готовые кадры необходимо оживить. Для этого подойдет любая нейронка, работающая с видео. Моя любимая - Veo. Именно в ней я и генерировала видео. Каждый кадр эта нейросеть превращает в видео, длиной 8 секунд, которое по необходимости потом можно будет продлить еще на 8 секунд.
Точнее будет сказать, что в Veo я генерировала только те кадры, где не нужно было показывать пение. Эта нейронка хорошо синхронизирует губы с речью только тогда, когда сама создает эту речь. Если по идее нужна речь вне песни, эта нейросеть отлично справится с задачей.
7. Синхронизация губ
Я выделила синхронизацию губ в отдельный пункт, так как это совсем другие инструменты. Во-первых, придется делить песню на отрезки, которые потом будем синхронизировать. Для этого не нужен искусственный интеллект, подойдет любая программа или приложение, работающая с аудио. А во-вторых, синхронизацию губ нужно проводить в другой нейросети. Я для этой задачи использовала HeyGen. Если закинуть в эту нейросетку всю песню целиком, то она сделает видео всей композиции на одном кадре. Это и дорого, и бессмысленно. Поэтому, сначала режем необходимые музыкальные кусочки, а уже потом забрасываем их в HeyGen.
8. Монтаж видео
Ну и на заключительном этапе все эти кусочки нужно собирать в единый клип. Я не знаю, есть ли сейчас такие нейронки, которые могут всё свести к единому знаменателю. Вероятно, в будущем они появятся, но пока клипмейкеры делают это вручную. Я использовала CapCat. При этом загрузила первые ожившие кадры еще тогда, когда последующих не было. Но это, кому как удобнее. Мне нравится следить за постепенным оживлением своего детища.
Как видите, здесь не обойтись одной нейронкой, и времени для работы понадобиться не мало. Да и денег тоже, так как все эти нейронки платные. Поэтому проще работать с платформами, где собраны все популярные нейросети. И выгоднее по деньгам, так как платите только одной платформе. Я работаю с Syntx. Можно через сайт, а можно и через бот, если нравится творить на коленке (как мне), и есть такая возможность.
Теперь вы знаете, как сегодня создаются клипы. И только попробуйте после этого сказать, что всё делают нейросети, а нейрокреатор просто пишет текст. Это не так. Искусственный интеллект только помогает в работе, упрощает и ускоряет ее. И да, делает творчество доступнее каждому. Попробуйте и вы).
И напоследок, как и обещала, результат: