В «Яндекс Браузере» появилась функция перевода видео с китайского на русский язык, сообщает пресс-служба компании.
Уточняется, что процесс перевода видео с китайского на русский проходит в несколько этапов. В первую очередь нейросеть превращает устную речь в письменный текст с учетом тонов и контекста. Как отметили в компании, «Яндекс» различает все четыре тона и 6500 иероглифов. Чтобы обучить нейросеть этому, разработчики выбрали 100 000 видео с субтитрами на севернокитайском языке.
Чтобы воспользоваться переводом видео с китайского на русский, пользователю предлагается нажать на кнопку «перевести видео». Сейчас эта технология уже доступна на YouTube.
О том, что «Яндекс» запустил многоголосый закадровый перевод видео, компания сообщала в середине октября 2022 г. В начале августа «Яндекс» добавил возможность синхронного перевода прямых трансляций. По словам руководителя приложения «Яндекс» и «Яндекс Браузер» Дмитрия Тимко, при синхронном переводе задействованы сразу четыре нейросети: одна распознает аудио и превращает его в текст, другая – определяет пол спикера по биометрии, третья — расставляет знаки препинания и выделяет смысловые фрагменты, а четвертая — переводит.