80 подписчиков
На днях один из подписчиков (Aamir Khan) поделился webui для генерации музыки и я вчера радостно на весь день залип.
Это тоже MusicGen, но в вариантах расшаренных до этого (1, 2, 3, 4, 5) в основном использовался Hugging Face, вкладка с которым, как выяснилось опытным путём, после нескольких генераций начинает дико нагружать проц.
* Работает локально
* Модели всех размеров (small, medium, large) подгружаются сами при первом использовании
* Можно ставить треки в очередь
* Можно генерить на основе своей мелодии
* Справа можно послушать, что сгенерил
* Нагружается только видюха, а не проц
Чем больше модель, тем лучше качество звучания, но тем и требовательней она к железу и генерация может занять больше времени.
Установка:
1) Создаём папку на компе и в адресной строке (C:\MusicGen или где вы её сделали) пишем cmd
2) В открытой командной строке пишем git clone https://github.com/CoffeeVampir3/audiocraft-webui.git чтобы скопировать webui к нам на комп
3) Идём вглубь скопированного webui командой cd audiocraft-webui
4) Далее устанавливаем необходимые для webui вещи командой pip install -r requirements.txt
Готово — запускаем проект командой python webui.py (не обращаете внимание на ошибку про тритон, фласк и дебаг мод)
Веб интерфейс открывается по адресу http://127.0.0.1:5000/
Чтобы генерить на основе своего трека в Model выберите Melody и укажите путь к треку.
Как параметры Top-K, Top-P, и прочие влияют на звук не ясно, экспериментируйте.
Музыка сохраняется в папку statc/audio/ , либо вы можете её правым кликом в webui сохранить куда вам угодно.
Важно отметить, что лицензия софта не позволяет использовать сгенерированное в коммерческих целях. Вот только как они будут определять, что сгенерировано?
В общем, для создания полноценных треков оно пока не годится, а вот семплы пилить, вполне себе. Да тут нет гибкости и их надо мастерить, но это уже ускорение процессов для артистов и существенное снижение планки входа для тех, кто только начинает.
1 минута
16 июня 2023