GigaChat научится создавать музыку

Сбер планирует добавить новые функции в GigaChat, связанные с генерацией музыки по описанию. Благодаря интеграции с нейросетями CLaMP и SymFormer, GigaChat сможет создавать уникальные музыкальные треки по любым текстовым заданиям пользователей.

Обновление было анонсировано в рамках международной ИИ-конференции AI Journey 2023 вице-президентом по цифровым поверхностям «Салюта» Сбера Денисом Филипповым.

Как будет работать генерация музыки в GigaChat

Пользователь может отправить любой запрос, например «напиши грустную музыку в стиле рок» или «сделай трек для семейного кафе».

После этого, GigaChat преобразует запрос в язык, понятный для генератора мелодий, а затем генерируется несколько вариантов трека, из которых нейросеть подбирает наиболее релевантный по стилю и композиции.

В завершении чат-бот вышлет аудиофайл с оригинальной музыкальной композицией и нотной партитурой в формате MIDI. Далее вы сможет использовать полученный файл для работы в творческих проектах или в своём продакшене, или скачать для прослушивания на своё устройство.

Новые функции GigaChat будут полезны не только авторам и музыкантам, но и предпринимателям. Они смогут быстро, качественно и легально решать бизнес-задачи: создавать фоновую музыку для ресторанов, студий красоты и лаунджей, генерировать треки для рекламных видеороликов и соцсетей.

Для обучения SymFormer использовалась площадка ML Space, работающая на основе суперкомпьютера Christofari, а также датасет из более двухсот тысяч композиций разных стилей: от классической до современной музыки, в том числе хип-хопа, рока и других направлений.