Найти тему
76 подписчиков

ByteDance: показали модель StemGen, которая может понимать контекст музыки и генерить стемы, подходящие по гармонии. Их можно микшировать с предыдущими инструментами и так собирать трек по слоям.


Токенайзер используется от AudioCraft. Несколько напоминает VampNet, а также SoundStorm.

На втором видео пример музыкального устройства с 4 каналами. По клику на робота нейронке подаётся текущий смикшированный луп, который она использует в качестве контекста для генерации стема в интересующем жанре или виде.

ByteDance: показали модель StemGen, которая может понимать контекст музыки и генерить стемы, подходящие по гармонии. Их можно микшировать с предыдущими инструментами и так собирать трек по слоям.
05:12
Около минуты