Найти в Дзене

Нейросети, меняющие голос

А мы с вами не только идем по пути усложнения контента — мы углубляемся в самый сок современных технологий, без которых наша жизнь уже невозможна (и дальше — больше).

Даже на уровне идеи эта статья была некоторым вызовом — я точно знаю, что все это сущестувет, но как начать, как выбрать и тем более насколько это будет звучать (и будет ли удобно в использовании) понятия не имел.

1) и поэтому начнем с приложения
Lalal.ai, которое я выбрал просто потому, что линк в гугле вылез первым. Это еще не то, что мы ищем, но зато можно пофаниться, подставив к своей песне голос Тейлор Свифт. Приложение в бете, в будущем обещают аж vst плагин, так что пока все бесплатно.

Но наша цель использвать "Voice Changer'ы" в работе, а значит продолжаем поиски

2) И вот
Revocalize выглядит уже интересней. Твой голос репитчится в один из предложенных вариантов, даже если спето весьма паршиво, плюс есть vst плагин, стоящий всего 49 долларов (для чистоты эксперимента я бы должен его купить, но оставим это на следующий год, когда я буду богат и знаменит). И вот этот отдельный голос уже вполне можно скачать и использовать в своих треках. Дополнительно можно наложить компрессию, фильтры, пространственную обработку. Но в целом это все еще выглядит игрушкой для людей, которые не умеют петь, но хотят сделать какой-то свой "кавер".

А значит нам остается только третий путь, а именно — обучение нейросетей моделям голосов. Звучит сложно, но спасибо интернету — есть варианты не заниматься этим самому.

3) Будем пользоваться нейронкой RVC. Честно говоря рекомендую посмотреть вот этот
видос, где без воды все объясняется. Но вкратце: вам нужен вырезанный голос (либо так, как предлагается в видео, либо воспользуйтесь любимой melody.ml. Дальше качаем RVC, обучаем ее.
Мне честно хочется показать вам пример того, что я сделал, но модель голоса по примерным подсчетам тренировалась бы моим компьютером около 9 часов, так что я попробую просто поставить ее на трен, а как будет результат — пришлю сюда отдельным постом.

Есть еще
вариант с использованием готовых моделей, но у меня (как и у многих), возникла ошибка на втором этапе подгрузки, так что проверить пока не могу. Может вам повезет😉

Ну в общем и все, а дальше на что у кого фантазии хватит✌️

P.S. пока искал инфу про наши нейросети, обнаружил аналог
Suno.AI (для написания музыки), но куда более продвинутый. Udio.com и крайне рекомендую заценить.

_._._._._._._._._._._._._._._._._._._._._._._._._._._._._._

Telegram канал "Записки Аранжировщика"

Подкаст «Слышь!»