Мы продолжаем развивать перевод видео живыми голосами в Яндекс Браузере. В прошлом году такая возможность появилась для англоязычных роликов, а теперь она доступна для всех восьми языков, которые поддерживают перевод видео в Браузере. Помимо английского, это итальянский, испанский, французский, немецкий, китайский, японский и корейский.
Теперь пользователи могут не только понимать содержание иностранных видео, но и лучше чувствовать особенности речи героев. Перевод помогает сохранить темп, интонацию и эмоциональные акценты, благодаря чему озвучка звучит ближе к оригиналу.
Больше контента без языкового барьера
Один и тот же текст можно произнести десятками разных способов. Где-то человек шутит, где-то говорит с воодушевлением, а где-то делает паузу, чтобы подчеркнуть важную мысль. Именно такие нюансы помогают лучше воспринимать речь.
С расширением списка языков становится доступно ещё больше видео, которые раньше приходилось смотреть с субтитрами или искать в пересказе. Можно включить интервью зарубежного спортсмена, посмотреть обзор новой техники от японского блогера, вдохновиться рецептом итальянского шефа или разобраться в лекции французского преподавателя — и сосредоточиться на самом видео, а не на чтении текста.
Каждый месяц перевод видео от Яндекс Браузера используют около 1,7 миллиона человек. Причём около миллиона выбирают именно озвучку с сохранением голосов и интонаций.
Как работает перевод живыми голосами
Чтобы сохранить интонации и тембр в переводе, Браузер сначала выделяет речь из видео и разделяет голоса разных участников на отдельные дорожки. Затем нейросеть распознаёт речь, переводит её на русский язык и синтезирует новую аудиодорожку. При этом модель учитывает не только смысл сказанного, но и особенности речи каждого человека — тембр, ритм, темп и интонацию. После этого русскоязычная озвучка синхронизируется с оригинальным видео.
В результате зритель слышит не просто перевод, а речь, которая сохраняет манеру общения и эмоциональную окраску оригинала. Благодаря этому интервью, выступления, скетчи и другой контент, где важна подача спикера, воспринимаются более естественно.
Где попробовать
Перевод с сохранением голосов и интонаций работает на YouTube, VK Видео, Дзене, Rutube и в Поиске Яндекса. Чтобы воспользоваться функцией, достаточно открыть ролик, нажать кнопку «Перевести и озвучить» и выбрать перевод живыми голосами.