ElevenLabs выпустила Music v2 — нейросеть генерирует треки частями

ElevenLabs представила Music v2 — новую модель для генерации музыки. Она лучше справляется с вокалом, инструментами и аранжировками в разных жанрах, поддерживает многоязычные тексты и даёт больше контроля над структурой песни.

Music v2 уже доступна в ElevenMusic и ElevenCreative. В ElevenAPI модель появится позже — ранний доступ можно запросить через отдел продаж. Вместе с релизом ElevenLabs снизила цены на Music v1 и Music v2 — до 50%. Подробности есть в материале Postium.

Читайте также: 5 нейросетей для создания музыки

Что умеет Music v2 и как она работает

Music v2 создаёт треки по описанию, но главное изменение — управление результатом. Пользователь может не только сгенерировать песню, но и доработать её по частям.

Модель строит композицию секциями: интро, куплет, припев и другими частями. Это позволяет создавать не короткие фрагменты, а полноценные песни с общей структурой и связью между секциями.

ElevenLabs также улучшила inpainting. Теперь можно выделить любой участок трека и перегенерировать только его — например, заменить бридж, не меняя припев и остальную песню.

Music v2 справляется со сложной подачей: быстрым рэпом, плотным текстом, резкими сменами жанров и немузыкальными звуковыми эффектами внутри трека. По данным ElevenLabs, песня может перейти от оперы к хэви-металу и обратно без развала по звучанию.

Модель лежит в основе трёх продуктов ElevenLabs. В ElevenMusic авторы могут слушать, ремиксовать и создавать треки. В ElevenCreative бренды и контент-команды получают музыку для рекламы, видео и брендированного контента. Через ElevenAPI разработчики смогут встроить генерацию музыки, inpainting и подбор звучания по референсу в свои продукты.

Как пользоваться

В ElevenMusic можно ввести текст и настроение или загрузить референсный трек — сервис сгенерирует песню, которую затем можно доработать или превратить в ремикс.

В ElevenCreative пользователь задаёт жанр, темп, настроение и голос бренда, после чего Music v2 создаёт трек для рекламы, видео или другого контента.

Доступ к Music v2 через ElevenAPI ElevenLabs пока выдаёт по запросу.

Почему это важно? Для ElevenLabs музыка становится отдельным направлением наряду с голосовыми продуктами. Компания разделяет сценарии по платформам: ElevenMusic — для авторов, ElevenCreative — для брендов и контент-команд, ElevenAPI — для разработчиков.

Также, компания заявляет, что обучила модель только на лицензированных данных, а созданные треки можно использовать коммерчески — без sync fees, задержек с clearance и ограничений на использование.

Ранее ElevenLabs уже расширяла платформу за пределы генерации голоса. В сентябре прошлого года компания запустила Studio 3.0 — ИИ-редактор для работы со звуком и видео. В ноябре в ElevenLabs появился раздел «Image & Video» с генерацией изображений и роликов прямо в интерфейсе сервиса.

Итог: ElevenLabs выпустила Music v2 и добавила больше инструментов для управления генерацией: треки можно строить по секциям и редактировать отдельные фрагменты.

Запись ElevenLabs выпустила Music v2 — нейросеть генерирует треки частями впервые появилась Postium.