Наша команда продолжает работать над качеством перевода видео и озвучки, чтобы открыть для пользователей полезный контент со всего мира. В новой версии Яндекс Браузера слушать перевод станет ещё комфортнее, чем раньше, благодаря новым голосам.
Изначально Браузер использовал два синтезированных голоса для перевода речи: один мужской и один женский. По нашим оценкам, этого достаточно для примерно половины переводимых роликов. Но другая половина — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой неудобно, потому что разные спикеры начинают говорить одним и тем же голосом. Чтобы сделать просмотр таких роликов более комфортным, мы добавили ещё десять новых голосов. Теперь видео в браузере озвучивают шесть мужских и шесть женских голосов.
Как Браузер «раздаёт» голоса разным спикерам и «запоминает» их? Тут в дело вступают нейросетевые технологии Яндекса. Сначала одна нейросеть переводит речь в текст, восстанавливает пунктуацию и определяет границы предложений. Затем уже другая нейросеть анализирует спектрограмму голоса и отмечает фрагменты, сказанные разными людьми. Так и становится ясно, кто из спикеров что произнес.
За год мы прошли длинный путь: добавили новые языки (теперь их пять) и интерактивные субтитры, научились переводить прямые трансляции. Дальше — больше. К примеру, скоро мы планируем поддержать китайский язык.
Расскажите в комментариях, какие ещё возможности вы хотели бы добавить в перевод видео. Какие ещё языки было бы полезно переводить?