Demucs (Deep Extractor for Music Sources) представляет собой инструмент, основанный на технологиях глубокого обучения, предназначенный для разделения музыкальных источников на отдельные компоненты. Этот инструмент способен выделять различные элементы музыкального трека, такие как вокал, ударные, бас и другие инструменты, из смешанных аудиозаписей.
Demucs отличается высоким уровнем качества разделения, используя нейронные сети для анализа и разложения аудиозаписей на составляющие.
Хотя Demucs — это действительно впечатляющее программное обеспечение для разделения звука на основе искусственного интеллекта, оно доступно в виде инструмента с интерфейсом командной строки (CLI). Мы должны использовать его с помощью различных параметров командной строки. Если вы знакомы с такими инструментами командной строки, как ffmpeg, ещё один мощный инструмент командной строки для работы с мультимедиа, вам будет легко его использовать.
Однако, если вы предпочитаете графический пользовательский интерфейс (GUI), вы можете использовать Demucs GUI. Это графический пользовательский интерфейс, созданный на основе основного движка Demucs. Он обеспечивает удобный доступ к функциям Demucs без необходимости взаимодействовать с командной строкой или писать код.
Графический интерфейс Demucs поставляется в комплекте с необходимыми зависимостями или обеспечивает простой процесс установки, снижая сложность настройки. Для пользователей Windows он доступен в двух версиях. Одна из них использует Nvidia CUDA для высокой производительности. Другая версия предназначена для пользователей, у которых нет компьютера с мощным графическим процессором Nvidia с поддержкой CUDA.
1. Использовать графический интерфейс Demucs очень просто. Он имеет однооконный пользовательский интерфейс. После запуска нам нужно выбрать модель ИИ для разделения звуковых источников.
Список предварительно обученных моделей выглядит следующим образом:
• htdemucs - первая версия гибридной модели Demucs. Тренировалась на MusDB + 800 песен. Модель по умолчанию.
• htdemucs_ft -тонко настроенная версия, разделение займет в 4 раза больше времени. Но, возможно, будет немного лучше. Тот же обучающий набор, что и htdemucs.
• htdemucs_6s - модель разделяет музыкальный источник на 6 инструментов. Обратите внимание, что на данный момент исходник работает не очень хорошо - piano, guitar.
• hdemucs_mmi - гибрид Demucs v3, переобучен на MusDB + 800 песен.
• mdx - тренировался только на MusDB HQ, выиграв модель на треке A на MDX challenge.
• mdx_extra - обучался с дополнительными обучающими данными (включая тестовый набор MusDB), занял 2-е место по треку B задачи MDX.
• mdx_q - квантованная версия предыдущих моделей. Меньший объем загрузки и хранилища Но качество может быть немного хуже чем у mdx_extra_q.
Рекомендуется выбирать модель - htdemucs_6s.
2. Затем нам нужно добавить аудиофайлы (Add files) в очередь файлов.
3. После этого мы можем выбрать параметры разделения и выходную папку.
4. Нам также нужно выбрать тип аудиопотоков, которые будут разделены, например, вокал, ударные, бас и другие инструменты.
После этого мы можем запустить процесс, нажав кнопку «Начать разделение» (Start separation). Для завершения разделения звука может потребоваться длительное время.
Вы можете скачать Demucs GUI с https://github.com/CarlGao4/Demucs-Gui