С помощью новой технологии видеоролики зарубежных авторов смогут посмотреть даже те, кто не владеет иностранными языками. Система позволяет переводить видео на русский язык в автоматическом режиме с одновременным озвучанием голосом. Команда «Яндекса» продемонстрировала возможности прототипа проекта на подборке из нескольких роликов на Youtube.
«Яндекс» создал технологию машинного перевода видео. С ее помощью видеоролики зарубежных авторов смогут посмотреть даже те, кто не владеет иностранными языками. Система позволяет переводить видео на русский язык в автоматическом режиме с одновременным озвучанием голосом. Разработчики утверждают, что опробовали технологию на видеозаписях на самые разные темы: изменение климата, машинное обучение, история Плутона.
По заявлению создателей, технология не имеет аналогов в мире. Пока система работает только с роликами на английском языке. В будущем нейросеть будут обучать переводу с других наиболее распространённых языков мира.
Пользователям функция машинного перевода видеороликов доступна в фирменном браузере «Яндекса» для операционных систем Windows и macOS.
Специалисты компании создали на Youtube-канале «Yet another browser» подборку из 12 видео (плейлист «Перевод видео»), с помощью которых любой желающий сможет убедиться в работоспособности технологии. Доступные для просмотра с русским закадровым голосом видео отображаются в желтой рамке. Для включения перевода достаточно нажать одну кнопку.
Поскольку система является прототипом, посмотреть можно ограниченное количество роликов. В ближайшее время пользователи получат возможность самостоятельно выбирать, какие именно ролики переводить, обещают в «Яндексе».
Над созданием платформы перевода видеороликов трудится несколько команд. Базовой частью проекта стала технология синтеза речи, разработки «Яндекс.переводчика», а также биометрия, которая используется для определения пола говорящего. Впоследствии обе технологии позволяют подобрать подходящий голос для закадровой озвучки.
Стоит отметить, что технология «Яндекса» поддерживает синхронизацию закадрового голоса с видеорядом, при необходимости корректируя темп речи виртуального переводчика и добавляя в нее паузы. Синхронизация необходима, поскольку исходные и переведенные реплики могут значительно отличаться по длительности. Так, в английском языке часто используемые фразы нередко лаконичнее своих русских аналогов.
«В интернете очень много полезного контента, который недоступен людям из-за языкового барьера, – говорит руководитель направления обработки естественного языка в «Яндексе» Дэвид Талбот. – И мы близки к тому, чтобы окончательно стереть все границы. "Яндекс.браузер" давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап. Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше».