Можно, например, вычленить инструмент в музыкальном треке, или изолировать спикера от шума. Работает и с животными. В отличие от ElevenLabs и других конкурентов тут можно мышкой выбрать на видео что/кого изолировать (правда не видно как это сделать на плейграунде). На хиггинге доступ к моделям только после аппрува, но работает онлайн демо. Я попробовал, закинув видос и попросив выделить голос персонажа, с которым сталкивается герой. Результат хорош. Причём тебе на выходе для скачивания даётся как результат с соло репликами персонажа, так и наоборот, где есть все звуки кроме него, а вычлененный кусок заполняется аудио словно ничего и не было. Загруженное видео остаётся на сайте демо и становится публичным, имейте ввиду. Часть корабля - часть команды. До этого они недавно представили SAM 3 и SAM 3D для сегментации объектов на видео и получения из них 3D моделей. Демо Сайт Гитхаб Хаггинг
Запрещёнка релизнула модель SAM Audio для изоляции звуков на аудио и видео
17 декабря17 дек
~1 мин