Приветик ребята! Меня зовут Кларисса Фэй и я нейро-ведьма... Забавно прозвучало? Вот сейчас и поговорим обо-мне и об одном из моих проектов.
Совсем недавно (на момент публикации этой статьи) я выпустила видео-клип на песню "Кабы не было зимы", где не только исполнила данную песню, но и спела эту культовую песню из мультфильма "Зима в Простоквашино", но в своей аранжировке или как сейчас принято называть - кавер-версию. Следует отметить, что этот проект не получился бы, если бы не ребята из творческой группы OBVideo. Ещё всем нам очень помог сервис от AI TurboText - где и было создано подавляющее число образов героев из клипа и... даже меня - тоже создали там! Как это было?
Хорошо, не будем растягивать и сразу к делу! Идём в телеграм-бота @TurboText_bot и знакомимся с ним!
Хочется отметить, что в нём вы найдете много уже известных нейросетей (Gemini, SORA, Midjourney, ChatGPT, VEO, Kling и т.д.), так и есть собственная разработка моделей AI от TurboText. Хотя там и есть возможность получать бесплатные токены, например временные токены ежедневно и за конкурсы постоянные токены, которые не сгорят спустя час, но если вы пришли туда не ради того, чтобы сгенерировать пару фоток, а с целью создать что-то более значимое - вроде нашего нейро-клипа - то лучшим вариантом будет купить тариф, который позволит Вам намного шире "расправить плечи" и уже мыслить более глобально в вашем творческом направлении...
Для небольшого проекта можно выбрать например тариф ELITE и уже начинать создавать серию фотографий для вашего будущего клипа. Удобство в том, что можно оплатить из России (РФ) и Беларуси (РБ) и без VPN и прочих "СМС" ))
Для генерации фото для "оживления" нам подойдут в этом боте режимы "генерации изображений", в нейросети Gemini (Nano-Banana) или SORA, ведь эти две нейросети точнее всего следуют промтам и создают очень реалистичные фото! Нам потребуется главная героиня (вроде меня) и её компаньон (дед Мороз).
И так, для генерации фото к примеру выберем нейросеть от SORA (в этом боте) и напишем такой промт:
**Medium shot, photorealistic portrait of a young woman recording vocals in a professional music studio.** The woman has distinctive features: an oval face with high cheekbones, large expressive hazel-brown eyes, perfectly defined Cupid's bow lips, and a delicate nose. Her dark brown hair frames her face in soft waves. She stands in a vocal booth, wearing headphones and singing into a large professional studio microphone on a pop filter.
She wears a vintage-inspired outfit: a deep burgundy sweater with a subtle pattern, paired with a navy blue A-line skirt that falls just above the knees. A delicate necklace with a small pendant rests on her collarbone. The overall style is classic, slightly retro, and elegantly casual.
The studio walls are treated with acoustic foam panels in geometric patterns. Through the thick glass window of the vocal booth, a sound engineer is visible in the control room, sitting behind a large mixing console with monitor speakers, actively adjusting levels. Soft, focused studio lighting illuminates her face and the textured surfaces of the acoustic treatment. Photorealistic, shallow depth of field, capturing the authentic atmosphere of a professional recording session.
Получаем примерно следующий результат:
Типаж устроил? Значит создаём ещё фото с ней, но уже в режиме "фотошопа", а будем использовать там нейросеть от Gemini (Nano-Banana) и рекомендуем вторую версию - она точнее следует промту!
И напишем простой промт на русском языке:
Убери наушники с головы. Сделай в окружении сибирской тайги зимой, в традиционном наряде русской Снегурочки, носит накладную светло-русую косу, позитивное выражение лица, формат фото 16:9
И получаем...
Не выходя из режима "фотошоп" в Nano-Banana, опять приступаем к изменению этого фото! Просим в следующем промте вот что:
сделай Снегурочку сидящей в санной упряжи "Русская тройка" вместе с дедом Морозом у которого в левой руке находится посох. Санной упряжью стоя управляет Скоморох. Позитивная сцена.
И получаем примерно такое фото:
Используя это фото, можете попросить, чтобы нейросеть сделала эту санную упряжь в разных ракурсах и планах (общий, крупный, средний). То-же самое можете делать и с другими фото. Думаю, тут более менее понятно? Давайте тогда уже песню с музыкой создадим? Для этого идём в режим "Аудио", а там "Создать кавер" и вставляем наш текст песни, в данном примере песня на стихи Юрия Энтина "Кабы не было зимы"...
[with an acoustic guitar, Soviet cartoon music, cheerful, winter, female vocal, folk pop, upbeat, 120bpm]
[intro]
[verse 1]
Кабы не было зимы
В городах и сёлах,
Никогда б не знали мы
Этих дней весёлых.
И т.д.
Ну текст всей песни не будем в этой статье писать, а обратим внимание на режим создания этой композиции в квадратных скобках. Самая первая строчка - в ней мы перечислили как именно и каким голосом будет исполняться эта песня, в каком темпе и т.д.... После чего жмем отправить... Затем выбираем стиль, в нашем случае было выбрано "фолк-рок" и подтверждаем выбор и попадаем на выбор модели нейросети, которая будет нам писать музыку. Например выбираем SUNO 5.0 и подтверждаем... И... ждём-ждём-ждём... И получаем готовую песню! Если чем то не понравилась, повторяем процедуру снова.
Теперь у нас есть набор фотографий и готовая песня, осталось теперь анимировать нам наши фото и всё это свести в программе видео монтажа. Для анимирования фото (пока без вокала) нам поможет режим "Видео", после чего выбираем VEO 3.1 fast, эта нейросеть оптимальна по стоимости, по качеству и по точности следования промту. Выберем для анимации те фото, в которых нет вокальных партий, а просто наши герои выполняют некие действия в кадре.
Как в нашем случае, когда по замерзшей реке проносится "Русская тройка" с экипажем.
Ладно, примем, что с анимацией фото, где нет вокала мы разобрались, переходим к тем фото, где наша вокалистка "Снегурочка" поёт... Для этого в боте AI ТурбоТекст можно использовать режим "Видео", затем жмем "Аватар". Эта модель способна анимировать фото по технологии "Липсинк", а точнее анимирование артикуляции у персонажа на вашем фото под музыку (музыкальный файл с песней). Просто загружаем фото, затем аудио-файл с вокалом и отправляем. Лучше ваш файл с записью вокала разрезать на куски по 20 секунд (а лучше по 10-15 секунд) и анимировать вокальные партии порциями... Если качество режима "Аватар" не устраивает, тогда можете попробовать стороннюю нейросеть "Hedra", но уже через VPN, если вы из РФ или РБ...
В итоге получаем куски видео с вокалом нашего персонажа. Кроме того мы теперь имеем и другие видео и файл с песней. Осталось всё это свести в видеоредакторе, например CapCut, Davinci Resolve и т.п. Но тут уже "дело техники" и надеюсь справитесь! Пусть даже как с "первым блином"...
Скажете - тяжело и муторно? И я отчасти соглашусь с вами, ведь любой подобный творческий процесс требует внимания, усидчивости и не всегда нейросеть будет делать всё за вас, но результат того стоит!
Можете глянуть как получился наш клип, который был сделан именно так!
ссылка на клип: https://rutube.ru/video/2f30af5b15a6dca16a4b8ed8e515faf7/
С уважением ваша Кларисса Фэй!
PS: И прошу простить меня за некоторые возможные орфографические ошибки в тексте и т.д. - ведь я только "вчера" родилась ))