Найти в Дзене

Клип "Во поле береза стояла" с помощью нейросети

Начала изучать нейросети недавно. Решила, что раз уж они появились в нашей жизни, то уже не уйдут и надо понимать, что это такое. Начала с картинок, а потом пришла идея сделать видео ролик. Но не просто так, а "со смыслом". Поскольку увлекаюсь музыкой, решила, что клип будет в самый раз. Для начала надо было сделать хотя бы один куплет какой-нибудь несложной песни. Знаю, что есть нейронки, которые пишут музыку. Возможно, потом сделаю полностью нейросетевой клип. Но сейчас хочется внести и свою лепту. Да и будет хороший стимул выучить новые песни. Для первого эксперимента выбрала русскую народную песню "Во поле береза стояла". Начала с одного куплета, в планах - песня целиком. Говорить нейронке "сделай все за меня" не очень интересно. Все-таки они должны быть инструментом, облегчающим жизнь или помогающим с творчеством, а не заменять человека полностью. Использовала "Кандинский", "Леонардо" и "Хайпер". Начала с того, что представила, какие картины должны соответствовать словам. Итак, п

Начала изучать нейросети недавно. Решила, что раз уж они появились в нашей жизни, то уже не уйдут и надо понимать, что это такое. Начала с картинок, а потом пришла идея сделать видео ролик. Но не просто так, а "со смыслом". Поскольку увлекаюсь музыкой, решила, что клип будет в самый раз.

Для начала надо было сделать хотя бы один куплет какой-нибудь несложной песни. Знаю, что есть нейронки, которые пишут музыку. Возможно, потом сделаю полностью нейросетевой клип. Но сейчас хочется внести и свою лепту. Да и будет хороший стимул выучить новые песни.

Для первого эксперимента выбрала русскую народную песню "Во поле береза стояла". Начала с одного куплета, в планах - песня целиком.

Говорить нейронке "сделай все за меня" не очень интересно. Все-таки они должны быть инструментом, облегчающим жизнь или помогающим с творчеством, а не заменять человека полностью.

Использовала "Кандинский", "Леонардо" и "Хайпер".

Начала с того, что представила, какие картины должны соответствовать словам. Итак, первый куплет песни:

Во поле береза стояла,
Во поле кудрявая стояла,
Люли-люли стояла,
Люли-люли стояла.

Значит в изображении должно быть поле, береза или какой-то пейзаж с березовой рощей. Потом появилась мысль добавить девушку, играющую на балалайке.

Девушка с балалайкой от нейросети "Кандинский"
Девушка с балалайкой от нейросети "Кандинский"

У "Кандинского" хорошие изображения, а в видео используется трансформация. Мне же хотелось для этого клипа какой-то более спокойный видеоряд. Поэтому воспользовалась нейросетями "Леонардо" и "Хайпер".

Береза в поле от нейросети "Леонардо".
Береза в поле от нейросети "Леонардо".

"Леонардо" оживляет изображения, которые можно сделать по промтам там же. В "Хайпер" можно загрузить свое изображение, но эта нейронка делает только двухсекундные ролики. В то время, как "Леонардо" - четырехсекундные.

Склеивала музыку и фрагменты клипа в InShot.

Вот что получилось в итоге:

Использовавшиеся нейросети: Кандинский, Леонардо, Хайпер. О них расскажу в других статьях.

Спасибо, что дочитали, надеюсь, было интересно!

Ставьте лайк и подписывайтесь на наш канал, чтобы не пропустить новые интересные материалы!