В обновленной версии Браузера нейросеть не просто дублирует видео с английского на русский язык, но анализирует речь, выделяет тембр, ритм, интонации и воспроизводит их в переводе, заявляют в Яндексе.
Яндекс обновил функцию закадрового перевода видео в своем браузере. Обновленная модель, по заявлениям разработчиков, передает не только смысл сказанного, но и уникальные характеристики голосов выступающих.
Для создания этой технологии модель обучили на сотнях тысяч примеров аудио. Разработчики отмечают, что живое звучание дублированного голоса важно для восприятия скетчей, юмористических роликов и выступлений известных личностей.
Обновление улучшило точность смыслового перевода. Модель на основе YandexGPT учитывает стилистические особенности речи, чтобы сделать формулировки более естественными для спикера.
Пример видео с обновленным переводом. Видео предоставлено пресс-службой Яндекс
Пример видео со старым переводом.. Видео предоставлено пресс-службой Яндекс
Обновленный перевод можно протестировать в Яндекс Браузере после авторизации через Яндекс ID. Функция появляется при просмотре роликов, опубликованных на YouTube, в поиске Яндекса, на VK Видео, в Дзене и Rutube.
Ранее сообщалось, что YouTube обещает сделать в течение пяти лет аналог этой технологии для видео на любых языках, опубликованных на платформе. Текущая тестовая версия позволяет переводить англоязычные видео на восемь языков и с этих языков на английский. Для русского языка встроенная функция дубляжа YouTube пока недоступна.
Читать далее:
Оружие будущего: Япония запустила снаряды из рельсотрона со скоростью 8000 км/ч
Целый океан исчез на Земле: как это изменило историю нашей планеты
Эйнштейн ошибся: возможно, пространства-времени вообще не существует
Иллюстрация на обложке: Изображение от freepik, лицензия