Все материалы в данной статье взяты из открытых источников.
Искусственный интеллект сегодня активно применяется в самых разных областях, включая музыкальное творчество. Благодаря прогрессу в области машинного обучения появилась возможность генерировать музыкальные произведения при помощи нейросетей. В этой статье мы рассмотрим, как создать собственную музыку с использованием инструмента Audiocraft - открытой нейросетевой платформы для генерации аудио от компании Meta*.
Поговорим о том, что представляет собой Audiocraft, какие задачи можно решать с его помощью и какую музыку получится сгенерировать. Рассмотрим процесс установки этого инструмента и на примерах покажем, как им пользоваться для создания собственных аудиодорожек в разных жанрах - от поп и рок-музыки до электроники и даже шумов природы.
Установка
Чтобы начать пользоваться нейросетью, вам понадобится проделать несколько шагов. Но перед этим, стоит также упомянуть, что вам обязательно потребуется видеокарта от Nvidia.
Рекомендуемое количество видеопамяти составляет 16 гигабайт, но в реальности нейросеть прекрасно себя показывает и на видеокартах с меньшим объемом. Например, на моей 3060 TI с ее 8 гигами, все замечательно работает.
Читайте ниженаписанное внимательно и постарайтесь не ошибиться. Я буду показывать процесс установки для операционной системы Windows.
Начнем.
1) Скачайте и установите Git.
2) Скачайте и установите Python.
3) Скачайте и установите PyTorch. Чтобы это сделать, вам понадобится открыть командную строку от имени администратора и прописать там следующие команды:
а) pip uninstall torch torchvision functorch tinycudann
б) pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
Важно делать все по порядку. Категорически не следует наслаивать одну установку на другую. Дождитесь установки одной программы и только затем начинайте установку следующей.
4) Далее вам следует создать отдельную папку на вашем компьютере. Назовите ее как-нибудь, обязательно на английском языке. Я назвал папку "musicgen".
5) Откройте папку и кликните по верхней строке проводника. Пропишите там "cmd" и нажмите Enter.
6) Откроется командная строка. В ней вам необходимо прописать следующую команду:
git clone https://github.com/facebookresearch/audiocraft
Начнется процесс установки репозитория в созданную вами папку.
7) Когда процесс завершится, перейдите в скачанную только что папку AudioCraft и, по аналогии с созданной вами ранее папкой, откройте командную строку с помощью верхней строки проводника.
8) В открывшемся окне командной строки пропишите следующее:
pip install -e .
9) После установки этих компонентов вы можете попробовать прописать в этом же окне следующую команду:
python app.py
Если на этом моменте никакой ошибки в командной строке не появится, то можете смело открывать IP-адрес, который высветится в ней же. Он будет начинаться с цифр 127. Просто кликните по нему левой кнопкой мыши, держа при этом CTRL.
Поздравляю! Вы установили AudioCraft на свой ПК и уже можете приступать к генерации треков.
Решение ошибки "[Errno 2] No such file or directory"
К сожалению, без проблем при установке может не обойтись. Неизвестно, почему, но многие люди сталкиваются с данной ошибкой при установке нейросети. С ней столкнулся и я.
Появляется она при вводе команды "python app.py" (9 пункт моей инструкции) и гласит, что файл "app.py" найти не удалось. Сейчас покажу, как это исправить и все таки запустить нейросеть.
Решение, на самом деле, очень простое. Вам достаточно лишь зайти в папку "demos", которая находится в корневой папке нейросети AudioCraft (ее вы скачивали изначально). Здесь вы найдете файл с расширением .py и именно его вам нужно переименовать в "app.py", после чего скопировать и вставить в корень папки AudioCraft.
Затем попросту запускаете cmd, аналогично тому, как вы это делали в 7 пункте моей инструкции и прописываете команду "python app.py". Нейросеть должна начать работать.
Как использовать AudioCraft?
И вот вы успешно установили и запустили нейросеть. Но что же она из себя представляет и как ей правильно пользоваться? На самом деле, ничего особенно трудного здесь нет.
Вводите ваш запрос в поле Input Text, после чего выбираете модель, с помощью которой хотите сгенерировать музыку. Для большинства компьютеров подойдет модель musicgen-melody. После этого выбираете длительность композиции. Оптимальным вариантом будет 10-30 секунд для средне бюджетных ПК. Если хотите, можете попробовать создать более длинные треки, однако учитывайте, что и ресурсов ваш компьютер потратит гораздо больше, да и время генерации увеличится в разы.
После всех проделанных манипуляций, нажимайте кнопку "Generate" и ждите, пока трек будет готов. Полученную композицию можно скачать на ваш ПК и распространять кому и как угодно.
Что касается остальных настроек, которые есть в интерфейсе нейросети, то тут могу порекомендовать вам ознакомиться с документацией, которая доступна по этой ссылке.
Примеры треков вы можете прослушать здесь.
Ну а на этом я с вами прощаюсь. Подписывайтесь на канал и на мой Telegram: https://t.me/logmanplace
Всем удачи!
*Meta - в том числе ее продукты Facebook и Instagram, признана экстремистской организацией в России.
