Мы продолжаем совершенствовать технологии, которые помогают стирать языковые границы в интернете. За полгода пользователи Яндекс Браузера посмотрели 36 млн видеороликов с закадровым голосовым переводом. Следующий шаг — научиться переводить прямые трансляции. Это существенно более сложная задача, чем перевод роликов.
Основная сложность перевода потокового видео в том, что нужно постоянно искать баланс между качеством и скоростью перевода. С одной стороны, невозможно заглянуть в будущее трансляции, чтобы понять контекст фразы или даже окончание предложения. С другой, нет возможности подождать завершения эфира, ведь перевод нужен здесь и сейчас. Кроме того, перевод прямой трансляции требует колоссальных вычислительных ресурсов.
Для преодоления этих проблем мы объединили весь наш опыт в машинном переводе и нейросетевых технологиях с ресурсами самых мощных суперкомпьютеров России, разработанных в Яндексе. Сейчас наша экспериментальная технология для перевода трансляций находится в закрытой бете – её тестируют сотрудники Яндекса. Нам удалось добиться хорошего качества перевода на YouTube при запаздывании относительно трансляции лишь на 30-60 секунд.
Первую публичную демонстрацию перевода прямого эфира в Яндекс Браузере можно было увидеть на YouTube-канале Wylsacom на примере трансляции конференции WWDC:
Мы планируем открывать доступ к переводу прямых трансляций на YouTube постепенно и только после того, как сами будем довольны результатом. Уже этим летом стартует публичное тестирование технологии для ограниченного списка каналов.
Нейросетевой закадровый перевод трансляций на русский язык — сложная технологическая задача, с которой никто в мире ещё не справился. Мы постараемся, чтобы уже в ближайшем будущем у широкого круга пользователей появился доступ к такому инструменту.