В статье описано как на начальном уровне без всякого опыта сделать хорошую песню в нейросети Udio.
Некоторые особенности Udio:
- Intro и Outro здесь делаются отдельно. Создав основную часть песни, можно разнообразить её звучание, комбинируя различные варианты вступления и заключительной части.
- Песня создаётся из отрезков по 32 секунды, что даёт возможность большего контроля над структурой песни, развитием мелодии, манерой исполнения последующих куплетов и припевов.
- Лучше «качество записи» музыки и вокала, сравнимое с реальными записями, и часто неотличимое от них для обычного слуха простого человека.
- Возможность «копирования» звучания отдельных исполнителей, вплоть до получения схожего голоса и манеры пения.
- Возможность получить звучание со стилем «старой школы», вплоть до получения звучания с качеством записи того времени, присущими ей дефектами и всеми вытекающими.
- Негативные особенности: Udio часто делает брак в генерациях для русского языка в виде пения набором несуществующих слов. Также возможны пропуски отдельных слов и целых строк, игнорирование тега [Melodic Interlude] и других. Нейросеть весьма капризная и своевольная.
Итак:
- Подготовьте текст песни для нейросети. Хороший текст - залог успеха.
- Используйте специальные теги для обозначения куплетов [Verse] и припева [Chorus]. Тег [Outro] вместе с тегом [End] можно использовать для создания короткой заключительной части, если небольшая часть вокала пришлась на последний фрагмент и вам не нужна слишком длинная заключительная часть.
Некоторые дополнительные теги:
[Bridge] — бридж, переход;
[Fade Out] — плавное затухание;
[Guitar Solo] — гитарное соло;
[Sighs] — вздохи;
[Whisper] — шёпот;
[Whistling] — свист;
[Silence] — тишина;
- Расставьте ударения во всех сложных и спорных словах.
Для того, чтобы поставить ударение на любую букву в текстовом редакторе надо: поставить курсор после желаемой буквы. Затем зажав клавишу Alt, нужно набрать на цифровой клавиатуре справа 769. Текст следует редактировать во внешнем текстовом редакторе и потом копировать в Udio. Также ударения можно ставить, применяя для этого заглАвные буквы, вместо строчных.
- Используйте букву ё, в словах, где есть эта буква. Нейросеть не всегда понимает точно, как ей петь: е или ё. Если упорно поётся ё вместо е, то можно попробовать использовать заглавную букву Е или несколько строчных, например: всЕ или всее. Чтобы пелось ё, можно попробовать писать йо, например: йожик. Написание слов по звукам - один из методов получить правильное пение от нейросетей.
- Определитесь с желаемым жанром. Название жанров лучше писать на английском языке. Можно указывать много жанров. Нейросеть попробует их удачно скомбинировать.
Можно и нужно использовать дополнительные пояснения к жанрам на естественном языке для уточнения характера песни. Например: expression, atmospheric, melodic, epic. Нейросеть проанализирует все слова и постарается их учесть при создании песни.
- Для того, чтобы получить желаемую эмоциональную окраску, нужно прописать эмоции и чувства, которые должна вызывать песня. Например: радость, восторг, счастье. Если не владеете английским языком, проще всего вводить желаемые слова в онлайн-переводчик и там переводить на английский и после копировать в Udio.
- Используйте тег [Melodic Interlude] для заполнения промежутков между куплетами музыкой.
- Используйте теги female vocal для того, чтобы получить исполнение песни женским вокалом и male vocal, чтобы получить мужское исполнение. Эти теги можно комбинировать, а также указывать несколько голосов наподобие three female voices. Таким образом можно получить исполнение песни несколькими вокалистами.
- Используйте теги [male vocal] и [female vocal] внутри текста песни, чтобы отдельные куплеты или фразы исполнялись другим голосом. Например:
[male voice]
(Текст, который должен петь мужской голос)
[female voice]
(Текст, который должен петь женский голос)
Не всегда это работает, особенно с первого раза, но, при усердии, можно в итоге получить интересный вариант исполнения. Также текст, заключённый в скобки, может быть спет нейросетью как бэк-вокал.
- Используйте теги с названием инструментов, чтобы добавить звучание выбранных инструментов в композицию. Например: violin, чтобы добавить скрипку, piano для пианино, guitar для гитары. Если инструмент будет уместен в рамках выбранного основного жанра, нейросеть его добавит.
Рекомендации для песен на русском языке: использовать более раннюю модель v 1.0, использовать 32 секундные отрезки. Рекомендуемые настройки для получения хороших результатов представлены на рисунке:
Далее:
- Выберите режим Custom в окне ввода лирики для ввода своего текста и введите текст. Нейросеть рекомендует не более 55 слов. Нужно ввести первые несколько куплетов полностью, ориентируясь на этот лимит. Есть ещё вариант при генерации каждого следующего фрагмента вводить полный текст песни, но не факт, что нейросеть в этом случае не начнёт делать ошибки. Введите желаемые жанры и пояснения в соответствующее поле вверху. Сделайте несколько генераций.
- Выберите самый лучший для вас вариант. Продолжите его, нажав на Extend. При этом, нужно дать нейросети новую порцию текста. Также нейросеть должна иметь и тот текст, который не успела допеть, если такое произошло. Сделайте несколько генераций, если требуется, выберите лучший вариант.
- Действия повторяются, пока песня не дойдёт до финала. При этом, теги жанров можно менять на каждом следующем отрезке для получения более интересных результатов, или же оставить неизменными, чтобы песня была в едином стиле.
- Добавляется заключительная часть Outro, а потом и вступительная часть Intro, при желании. Они могут быть инструментальными или тоже иметь какой-то текст. Нейросеть может проявить креатив и добавить слова даже в инструментальное Outro (например, повторить припев), если посчитает нужным. В целом она делает структуру песни, руководствуясь своим внутренним пониманием относительно выбранных жанров, поэтому может игнорировать многие теги, вставлять проигрыши и инструментальное соло по своему желанию, и упорно не делать того, чего от неё хотят.
- При желании, некоторые неудачные фрагменты из песни можно будет вырезать в отдельном аудио-редакторе, также возможно использовать для замены некоторые более удачные фрагменты (например, скопировать припев) и т.д.
По платной подписке предоставляется более обширный функционал с возможностью замены отдельных фрагментов песен и другими возможностями.
Рекомендации даны по личному опыту создания песен на русском языке в жанрах рок и металл. При этом поощрялся "креатив" нейросети, её "музыкальное видение", а также смешение жанров и даже сильный уход в сторону от заданных рамок. Для других языков и жанров, а также задания нейросети "жёстких рамок" возможны другие настройки. В процессе работы каждый найдёт для себя оптимальный вариант.
Для наглядности представлен текст песни "Милые прогулки" проекта Floodplain Gold, автор текста Задворнов А. В. Автор разрешает личное и некоммерческое использование текстов своих песен с обязательным указанием следующей информации при размещении их где-либо (самих текстов, созданных на их основе песен, видео):
Автор текста Задворнов А. В., проект Floodplain Gold https://floodplaingold.tilda.ws
[Verse]
Люблю бродить с тобой вдвоём
По парку летним вечерком.
За руку держишь так тепло,
А на душе у нас светло.
[Verse 2]
Мы смехом делимся опять,
Так любим мы с тобой гулять.
И вдоль реки, и под луной,
Ты мой герой, ты мой покой!
[Melodic Interlude]
[Chorus]
И с ним всегда легко,
И каждый шаг как сон!
Безумно рада я,
Что есть на свете он!
[Melodic Interlude]
[Verse 3]
Ты даришь мне свои мечты,
Букеты дивной красоты.
Моментов радостных не счесть,
Как хорошо, что ты есть!
[Bridge]
Каждый миг с тобой как в сказке,
Нежно даришь свои ласки.
Ты рядом, и мир наш един,
В целом мире для меня один!
[Melodic Interlude]
[Chorus]
И с ним всегда легко,
И каждый шаг как сон!
Безумно рада я,
Что есть на свете он!
Возможные теги жанров: pop, female voice, love, happiness, joy
На данный момент проект больше сосредоточен на роке и металле.
Вся дискография проекта на сайте RealMusic:
Официальный сайт проекта Floodplain Gold:
Сообщество ВКонтакте: