90 подписчиков

Sync: добавили режим дубляжа к своей недавно анонсированной липсинк модели Sync-3

28 апреля28 апр

1 мин

Можно загрузить видео, вытащить звуковую дорожку через кнопку Detach, выбрать перевод на множество языков (включая русский), послушать превью, и, если всё ок, — получить это же видео с дубляжом на другом языке и липсинком. На аккаунт даётся 3 халявные попытки в месяц, пробуем. Меня удивило, что в тестовом видео с Анькой в начале произносится только половина имени — Кейдж вместо Николас Кейдж, — но нейронка сообразила и не перевела Кейдж как "клетка". С другой стороны она и Николас не должна была добавлять, ибо это не произносится, но мне здесь это показалось уместным для полноты контекста. Липсинк хорош, почти не косячит. Там где есть окклюзии, в примере с деревьями и листьями, уже тяжелее ибо виднеется небольшой рассинхрон. Да и человек в кадре далеко от камеры. У меня больше вопросов к клонированию голоса, ибо ты можешь два раза клонировать голос с одного и того же источника и один может быть ближе к оригиналу, чем другой. С Анькой голос получился несколько механически-звучащим, и

Sync: добавили режим дубляжа к своей недавно анонсированной липсинк модели Sync-3.

На аккаунт даётся 3 халявные попытки в месяц, пробуем. Меня удивило, что в тестовом видео с Анькой в начале произносится только половина имени — Кейдж вместо Николас Кейдж, — но нейронка сообразила и не перевела Кейдж как "клетка". С другой стороны она и Николас не должна была добавлять, ибо это не произносится, но мне здесь это показалось уместным для полноты контекста.

Липсинк хорош, почти не косячит. Там где есть окклюзии, в примере с деревьями и листьями, уже тяжелее ибо виднеется небольшой рассинхрон. Да и человек в кадре далеко от камеры.

У меня больше вопросов к клонированию голоса, ибо ты можешь два раза клонировать голос с одного и того же источника и один может быть ближе к оригиналу, чем другой. С Анькой голос получился несколько механически-звучащим, и пространственность звука сменилась студийной чистотой. Не могу сказать, что сильно на неё похоже.

В целом, для лайтового дубляжа под ютуб и редактирования сказанного в сгенерированных видео пойдёт.

Единственно, что стоит упомянуть: под капотом для липсинка используется модель Sync, которую вы выберете, а вот дубляжом занимается ElevenLabs. И я недавно наткнулся на видос, что немало ютуб каналов получили страйки за повторяющийся контент, а общего у 95% из них было использование ElevenLabs для озвучки. Так что имейте ввиду.

4,84 млн интересуются