Открытый инструмент Violin переводит видео на любой язык и меняет голос за три шага

СегодняСегодня

~1 мин

Together AI выпустили Violin — полностью открытый инструмент для перевода видео. Исходный код доступен на GitHub под лицензией MIT, то есть использовать и изменять можно свободно. Работает просто, Whisper V3 расшифровывает речь из видео в текст с временными метками. Затем DeepSeek V4 Pro переводит этот текст на нужный язык. Потом модель синтеза речи Cartesia Sonic 3 озвучивает перевод голосом носителя выбранного языка. Клонирование голоса оригинального спикера не используется. Дополнительно внутри работает мультимодальный чат-ассистент. Он видит и слышит видео и отвечает на вопросы по его содержанию прямо в интерфейсе. Три способа использования на выбор. Веб-интерфейс без кода, командная строка для пакетной обработки и готовый скилл для встраивания в ИИ-агентов. Для понимания масштаба проблемы: 66% видео с топ-250 YouTube-каналов выходят на английском языке, при этом аудитория у них глобальная. Детали Гитхаб Демо @bykorolev

Работает просто, Whisper V3 расшифровывает речь из видео в текст с временными метками. Затем DeepSeek V4 Pro переводит этот текст на нужный язык. Потом модель синтеза речи Cartesia Sonic 3 озвучивает перевод голосом носителя выбранного языка. Клонирование голоса оригинального спикера не используется.

Дополнительно внутри работает мультимодальный чат-ассистент. Он видит и слышит видео и отвечает на вопросы по его содержанию прямо в интерфейсе.

Три способа использования на выбор. Веб-интерфейс без кода, командная строка для пакетной обработки и готовый скилл для встраивания в ИИ-агентов.

Для понимания масштаба проблемы: 66% видео с топ-250 YouTube-каналов выходят на английском языке, при этом аудитория у них глобальная.