Яндекс с помощью нейросетей научился переводить англоязычные видео на русский язык. Большое достижение для российской компании, как никак.
Всем привет, читатели Дзен:) Я являюсь пользователем Яндекс Браузера с начала октября 2012 года, когда он только вышел. Но на постоянной основе стал с 2014/2015 годов, когда я постоянно переходил с Windows 7/8/8.1 на Windows 8/8.1/10. Ранее я пользовался Хромом, ибо тогда он был реально шустрым и быстрым браузером. Но времена идут, всё меняется. И Хром в том числе. На мой взгляд, Хром начал больше накидываться на ОЗУ и процессор, нагружая их. Чего я не могу сказать об ЯБ. Ещё раз повторю, что это чисто мой взгляд. Если у вас с Хромом никогда не было проблем, то мне остаётся только вас поздравить.
Не смотря на то, что Хром был минимализирован, а ЯБ содержал в себе всевозможные сервисы Яндекса (которые иногда мешают), мне комфортнее работать с последним. И если ранее ЯБ воспринимали как типичный клон Хрома, и ничем он не отличался (только названием) от других со-братов от Mail.ru и Rambler, то в последнее время всё кардинально поменялось, а со-братьев не видать даже на горизонте. У Рамблера был "Нихром", который очевидно не взлетел, ведь предложить свой поисковик в качестве стартовой страницы - это всё "достижение" браузера. У Mail.ru был печально известный Амиго, я уже о нём писал статью. В 2018 году от Амиго отказались в пользу "Атома". Этот браузер вроде бы ничего такого, но именно с этого должны были начинать Мэйловцы, а не с Амиго. Тогда глядишь, могла бы конкурировать с другими браузерами.
А что Яндекс? Они не сидели сложа руки. Год за годом они добавляли новые фишки, которые либо отсутствовали у браузеров-конкурентов, либо у них позаимствованные. К примеру, Яндекс постоянно хвастается своей "умной строкой", ведь не обязательно писать в строке адрес сайта на английском. Достаточно написать на русском, и вуа-ля! Фишка вроде бы и прикольная, и оригинальная. Но работает это не со всеми сайтами (малоизвестные сайты будут отображаться, если их часто посещать), что печально. Другая фишка способна запускать режим "турбо", что позволяет загрузить страницу быстрее при медленном интернете. Такая фишка не эксклюзивна, потому что была позаимствована из Opera. Чуть позже добавили возможность установки расширений из гугловского и оперовского магазинов. Потом позволили смотреть видео в новом маленьком окне. Это очень удобная фишка. Читаешь, к примеру, новостную ленту во Вконтакте, а в правом нижнем углу вещает видео с Ютуба. Ну и одно из главных нововведений, это голосой помощник Алиса. Не знаю, как вам, но мне Алиса нравится больше, чем гугловский ассистент и Сири от Apple. Хотя пользуюсь я ей, в основном, через Станцию. В браузере и в телефоне пользуюсь ей только в редких случаях.
Но несколько дней назад Яндекс добавили очередную фишку в свой браузер. Я могу ошибаться, но такого у конкурентов ещё нет. В общем, браузер научился переводить видео с английского (пока только с него) на русский посредством закадровой озвучки (озвучивает некий мужчина (я его слышу впервые) и голос Алисы (Татьяна Шитова)). Сразу можете зайти на Ютуб, включить любое видео на английском языке и послушать результат. Лично я посмотрел таким образом несколько видео и могу сделать выводы. Кстати, я беру в расчёт то, что эта способность может быть в стадии бета-версии, и её будут допиливать. Однако результат впечатляющий.
Запускаю самое первое загруженное видео на Ютубе под названием "Me at the zoo", где паренёк что-то говорит на фоне слонов за проволокой. В итоге, переводчик нам говорит, что "я стою рядом со слонами, перед этими классными парнями, у них очень-очень-ОЧЕНЬ-ОЧЕЕЕЕЕНЬ большие хоботы, и это круто. И это всё, что можно сказать". А теперь я напишу то, что сказал парень на английском языке, и вы сами можете посудить, правильно ли перевела нейросеть или есть ошибки: "All right, so here we are in front of the elephants. The cool thing about these guys is that they have really, really, really long trunks, and that's, that's cool. And that's pretty much all there is to say." Как видим, результат на лицо. Особенно подчеркну слово "long trunks", нейросеть перевела как "хоботы", в то время как переводчики (Яндекс, Гугл) тупят и переводят его либо как "ствол", либо как "плавки".
Мне понравился голос. Как и мужской, так и женский. Голоса не вызывают какого-либо раздражения, слушаешь их на "расслабоне". Яндекс в этом случае умеет подбирать актёров дубляжа.
Отмечу я и недостатки этой особенности. Самый главный и единственный недостаток кроется в деталях. Нейросеть переводит только закадровый текст от автора. Реплики и диалоги переводит частично. Также это ещё зависит от качества звука. Грубо говоря, всякие новостные репортажи, обзоры или туристические поездки с озвучкой от автора мы можем посмотреть, проблем быть не должно. А вот со снятыми на дешманскую видеокамеру или смартфон видео переводится с трудом, либо не переводится.
Кто-то может сказать, что другой главный недостаток - это не способность перевести с другого языка на русский. Но давайте взглянем правде в глаза. То, что мы видим, это уже прогресс!
Из не главных, но всё же недостатков отмечу следующее:
* Сразу видно, что нейросеть умеет в интонацию. Но при этом использует их не впопад. Но это не так критично, ведь в закадровой озвучке мало кто пользуется актёрским мастерством и просто читают по тексту.
* Нейросеть говорит речь наперёд, и иногда с опозданием. Не очень критично, ведь по сути смысл не теряется.
* Голоса меняются слишком быстро. То голос спокойный, то растягивается, то тараторит как Тина Канделаки. К счастью, всё зависит от видео. И нейросеть не слишком часто меняет скорость чтения.
* Смена голоса иногда происходит само по себе. Это вполне нормально, когда смотришь видео, и говорит мужской голос, потом сменяется на женский и потом снова на мужской. Это при условии, что в оригинале один и тот же голос от одного и того же человека.
* Перевод вполне себе нормальный, но иногда нейросеть путается и пытается перевести сленговые слова, но получается это не очень хорошо. К примеру, короткометражка GTA San Andreas тому пример. Это нормально, когда через каждые 2 секунды от бандосов слышится "чувак". И вроде бы нейросеть понимает и говорит матерные слова (что удивительно, ведь Яндекс долгое время отучал Алису от матерных слов), однако в этой же короткометражке по большей части слышно "дурак, дурак".
* К сожалению, если в плеер видео (или в само видео) вшита DRM, то нейросеть тут бессильна.
В итоге мы имеем большой шаг вперёд в развитии технологий. Вчера Ютуб посредством субтитров переводила видео на разные языки. Сегодня Яндекс научился переводить с помощью нейросети англоязычные видео. Кто знает, что будет завтра... Мне вот интересно глянуть! А вы что думаете по этому поводу?
