Яндекс Браузер помогает пользователям преодолевать языковой барьер и получать новые знания. Несколько месяцев назад наш Браузер научился переводить видео. Пользователи встретили новую возможность тепло: ролики с переводом смотрят более 200 тысяч раз в день. В новой версии Браузера мы продолжаем развивать это направление.
Если вы учите иностранный язык, важно уметь воспринимать его на слух. Субтитры с переводом в новой версии Браузера помогут развить этот навык. Достаточно кликнуть на неизвестное слово, чтобы увидеть перевод.
Чтобы включить субтитры на русском или иностранном языке, нужно навести курсор на окно воспроизведения и во всплывающем блоке «Перевести видео» выбрать в настройках активацию субтитров. Кроме того, опция подсветки по словам поможет не терять смысл сказанного, что особенно важно для тех, кто пока еще не владеет языком достаточно уверенно. Короткое демонстрационное видео:
Как работает технология? На помощь приходят нейросети. Перевод делается в несколько этапов. Сначала Яндекс распознаёт речь, превращает её в текст и с помощью нейронных сетей разбивает на предложения. Уже на первом этапе нейросеть отмечает, где начало и конец каждого слова на видео. Благодаря этому слово на экране подсвечивается именно в тот момент, когда оно произносится.
Сейчас опция доступна в Яндекс Браузере для Windows и macOS (версии для Linux, Android и iOS уже в работе). Поддерживается перевод субтитров на четырёх языках — английском, французском, немецком и испанском. Опция доступна для роликов на YouTube. В будущем поддержим и другие популярные сайты.