Открытый инструмент Violin переводит видео на любой язык и меняет голос за три шага
Together AI выпустили Violin — полностью открытый инструмент для перевода видео. Исходный код доступен на GitHub под лицензией MIT, то есть использовать и изменять можно свободно. Работает просто, Whisper V3 расшифровывает речь из видео в текст с временными метками. Затем DeepSeek V4 Pro переводит этот текст на нужный язык. Потом модель синтеза речи Cartesia Sonic 3 озвучивает перевод голосом носителя выбранного языка. Клонирование голоса оригинального спикера не используется. Дополнительно внутри работает мультимодальный чат-ассистент. Он видит и слышит видео и отвечает на вопросы по его содержанию прямо в интерфейсе...