Нейросети Яндекс Браузера научились переводить видео с китайского языка и автоматически накладывать русскую озвучку. Для Браузера это огромный шаг вперёд — мы стремимся к тому, чтобы полностью стереть языковые границы в интернете.
Теперь нашим пользователям доступно огромное количество уникального контента: от полезной информации о новых гаджетах и национальной кухне до персональных блогов, связанных с сотнями других тем.
Уникальный датасет
Нейросети учатся на примерах, и они должны соответствовать определённым критериям. Готовых решений не было, поэтому мы с нуля собрали собственный датасет. С помощью специального алгоритма наша команда обработала 1,5 миллиона видео и выбрала 100 тысяч с качественными субтитрами на самом популярном диалекте — севернокитайском , которым владеет более миллиарда человек. Соответствие аудио и субтитров здесь так важно, потому что именно по ним нейросеть учится понимать речь.
Понимание письменности
Превращение речи в текст — первый этап перевода, и для этого нейросетям Браузера пришлось потрудиться. Каждый из иероглифов читается как отдельный слог. Чтобы нейросеть научилась их понимать, весь необходимый для работы с китайским словарь разработчики закодировали в виде 10 000 токенов. Для сравнения, пять европейских языков, которые Браузер научился переводить раньше, уместились в библиотеку на 5000 токенов. Один токен равен одному слогу или регулярно использующемуся сочетанию двух слогов. Одновременно с этим нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки, чтобы точнее синхронизировать перевод с исходной речью и сделать его более гармоничным.
Тоны и контекст
С самой сложной особенностью китайского, на освоение которой у людей уходят годы, нейросети Браузера справились всего за месяц. Именно столько им потребовалось на изучение четырёх тонов, определяющих смысл сказанного. Тон — это мелодический рисунок голоса. Один и тот же слог, произнесённый с повышением или понижением голоса, может означать совершенно разные вещи. А ещё в китайском много омофонов — слов, которые звучат одинаково, но пишутся по-разному и обладают разным значением. Наши нейросети умеют различать их и учитывать контекст.
Как попробовать?
Мы сделали специальную подборку интересных видео на китайском. Яндекс Браузер сам предлагает перевести видео на YouTube сразу после того, как вы его откроете. Нужно просто нажать на кнопку «Перевести видео». Чуть позже появится поддержка популярной китайской видеоплатформы Bilibili.
Теперь у нас есть технологическая база, чтобы работать и с другими азиатскими языками. Какой из них вы бы хотели добавить в перевод видео?