На Google Developers прочитал как у них работает система создания дубляжа на лету.
Причем идея достаточно простая — берем видео на испанском языке, вычленяем текст в каждом пятисекундном промежутке, переводим его и накладываем вместо оригинала. Если нужно перевести фразу по-длиннее, то промежутки берем побольше.
В итоге получаем переведенный видеоролик. Но ребята из гугла решили не останавливаться на этом и делают также корректировку видеоряда. Ведь если мы будем смотреть видео с дубляжом, но с оригинальным видео, то мозг-перфекционист начинает сходить с ума, видя расхождения между тем что мы слышим и тем как двигаются губы спикера...
Профессиональные студии дубляжа тратят уйму человекочасов, чтобы подогнать речь перевода под движение губ актеров в фильмах. А инженеры решили эту проблему с другой стороны — поправили видео под текст.
Например был сделан перевод с английского на испанский и вот что получилось без изменения видеоряда и вот что получилось после изменения. Похоже, что скоро я смогу созваниваться через интернет с испанцем, говорить ему на русском языке, а ему будет доходить чистая испанская речь с измененной картинкой и, наоборот, он мне будет говорить на испанском а я буду слышать русский язык.
Любопытно как близко подобралось к нам будущее!