Meta* представила новую модель под названием MusicGen, которая переводит текст в музыку. MusicGen превосходит все существующие модели, включая MusicLM от Google, и делает это одним блоком трансформера, в отличие от иерархического или "упсемплинга" каскадирования моделей.
Модель была подвергнута глубокому тестированию и оказалась значительно лучше базовых моделей на стандартном бенчмарке текст-в-музыку. Из впечатляющих особенностей - модель может делать "каверы" на загруженные мелодии в любом стиле, который опишет пользователь. Образцы созданных MusicGen композиций доступны по ссылке, а подробности модели и код можно найти на Github и в научной статье на Arxiv.
*Примечание: Деятельность компании Meta, включая социальные сети Facebook и Instagram, запрещена в России как экстремистская.
Около минуты
10 июня 2023