16 подписчиков
Дополню свой подкаст про нейросети интересной новостью: «Яндекс» добавил синхронный перевод прямых трансляций в «Браузере». Вот это уже прямо-таки бомба. Теперь прямые эфиры Apple, Google, SpaceX и некоторых других техногигантов можно смотреть в переводе на русский язык в прямом эфире.
Технология позволяет переводить стримы с пяти языков — английского, немецкого, испанского, итальянского и французского. Дальнейшие шаги разработчиков - внедрение синхронного перевода на любой трансляции и поддержка Twitch.
По традиции - заглядываем под капом и смотрим как там херачат нейросети, прям как рабы на галерах.
При прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке. Сколько нейросетей насчитал, а?
Около минуты
5 августа 2022