Захотелось создать кавер с помощью нейросети. Оказывается, это не так уж и легко. Расскажу вам о своей попытке.
Я совсем не разбираюсь в программировании, кодах и прочих айтишных штуках, однако у меня получилось. Я потратила много времени, чтобы найти работающий, а главное достаточно удобный для обывателя способ, ну а вам достанется самый сок, сама сжатость и информативность из всех моих поисков.
В этой статье я соберу все ссылки, которыми пользовалась. Хорошо, что существуют профессионалы, которые давно за нас всё сделали и объяснили, но плохо, что они раскидали свои мысли по всему интернету.
Что ж, начнёмヾ(⌐■_■)ノ♪
Итак, вы выбрали песню, в которой хотите заменить вокал.
Нужно выбрать голос для кавера. Есть база популярных голосов: ссылка. Но! Здесь мы будем говорить о создании своей модели.
ЭТАП №1
И пошла первая ссылка: https://dzen.ru/video/watch/65ba5b3cac02d66f3a1545e4
В этом видео всё подробно рассказано, но кто хочет комментарии Дилетанта, покороче и в буковах, то милости прошу.
Нам нужна запись голоса.
Если человек известный, поищите с ним интервью или подкаст. Нам нужно где-то 5 минут его голоса. Если нашли аудио – просто отлично. Если видео – не боитесь, разберёмся.
Нужно скачать видео (если оно есть в ВК, то вам поможет приложение "Видео ВК"). Также можно сделать запись экрана через телефон. Запишите 5 минут интервью.
Дальше нам понадобится редактор. У меня – "Movavi", но можно использовать любой онлайн-редактор или же любое приложение типа "YouCut - Video Editor", если вам удобнее редактировать на смартфоне.
Необходимо отделить звук от картинки. Делаем! Дальше нужно вырезать из аудиодорожки паузы, шипения, вздохи, кряхтения и прочие шумы, чтобы наша запись была почище.
Отлично. Важно! Сохранить голос надо в формате wav. WAV!
Теперь из этого мы будем делать модель голоса.
Нужен гугл-диск и место на нём (несколько гигов).
Пошла вторая ссылка: Google Colab.
Всё остальное мы делаем тут. Вот так выглядит начало:
Тезисно!
Щелкаете тут
, потом здесь
. Через какое-то время начнут всплывать предупреждающие окна. Итак (¬‿¬)
"Выполнить"
, "подключить"
, выбираете себя
, "продолжить"
и ещё раз
. Пока мы соглашались, установка завершилась ¯\_(ツ)_/¯
Идём дальше! Кликаем на папочку
, сюда
, загружаем наш голос (WAV)
. Дождитесь, пока файл загрузится (появится его вес).
Дальше пишем имя
и нажимаем
. Ждём «готово»
Далее идёт "Тренировка модели".
Нам нужна вот эта строчка
. Если у вас русский голос, ставьте Snowie, если английский, оставьте Default.
Теперь нажимайте сюда
. Пошли строчки. Страшно, понимаю, но надеемся, что всё идёт по плану •_•)
Когда увидели «Эпохи», можете выдохнуть, всё сработало верно. Ждём, пока натренируется (чтобы это не значило) модель. Это может занять некоторое время (от 10 до 30 минут)
, затем появятся надписи:
Отлично. Выходим из этого всего. Нажимаем это
, потом это
. Здесь закончили. *фуууух*
ЭТАП №2
Открываем гугл-диск. Здесь появилась папка «TrainingModel».
Открываем. Там куча папок. Кликаем
, так
, прокручиваем вниз. Нам нужен файл, заканчивающийся на <…>.index
Возвращаемся в «TrainingModel». Находим папку
, далее
. Вот этот файл берём
. У вас должны быть загружены 2 файла added<…>.index и <…>.pth
Молодцы!
Теперь наши скачанные файлы необходимо заархивировать. Открываем «Загрузки» или ту папку, в которой вы сохранили файлы.
Выделяем их – правая кнопка мыши – отправить – сжатая zip-папка.
Сделано! У нас есть модель голоса, которую мы подставим вместо оригинального.
ЭТАП №3
А теперь ещё одно видео, как сделать уже сам кавер от автора (Politrees), которому мы все желаем здоровья и успехов.
Третья пошла: https://dzen.ru/video/watch/668e402375153d43b37642cd
И пояснения от Дилетанта ッ
Если ещё раз открыть RVС Politrees и промотать в самый низ, там будет ссылка
, нажмите ииии… Вот наш CoverGen
Или же сразу ссылка (◕‿◕)
Нажимаем сюда
, сюда
, соглашаемся
и ждём пока программа установится.
Хорошечно.
Кликаем и ждём
. Когда появится вот эта ссылка - мы дождались. Переходим по ней.
Перед нами его величество CoverGen.
Внешне он будет отличаться, от того, что показан в видео, но по функционалу он такой же, даже лучше, потому что все проблемки автор, как и обещал, устранил.
Нажимаем сюда
, теперь сюда
. Добавляем ZIP-папку, которую так долго делали
, ждём, пока загрузится (несколько минут).
Называем и нажимаем
. Далее сюда
, кликает здесь
, здесь
, тут
. Двигаемся правей
и загружаем песню, которую выбрали для кавера. Подождите, пока она отобразится (в виде ссылки).
Отлично!
Аудионастройки автор оставил самые универсальные, поэтому пока не трогайте их.
И наконец кликаем «Генерировать»!
Ждём несколько минут…Пожалуйста! Ваш кавер появился! ╰(▔∀▔)╯
После первого прослушивания, можете покрутить настройки, чтобы улучшить звучание. В программе подробно описано, что делает каждая настройка, но также это хорошо объясняется в видео (2:21).
Если вас всё устраивает, скачивайте mp3.
Как-то так ¯\_(ツ)_/¯
Говорим огромное спасибо автору (как я поняла) RVС Politrees и создателю CoverGen. Ссылка на его страницу в Дзене.