В США запущен стартап в области искусственного интеллекта ElevenLabs, который может клонировать голоса для дубляжа фильмов на основе загруженных в течение нескольких минут аудиосэмплов. Правда, пока что такой дубляж «Офиса», «Гарри Поттера», мемов «Восемь Ши» и Side Eye напоминает далеко не лучший пиратский дубляж 90-х.
Разработка ElevenLabs создаёт дубляж видео с помощью нейросети с сохранением голоса. В отличие от некоторых аналогов, ElevenLabs не подстраивает артикуляцию говорящего под язык и допускает много ошибок, но зато он может переводить ролики на русский язык. Пользователи рунета уже протестировали возможности ElevenLabs, и результаты оказались скорее забавными. Например, монолог актёра Сэмюэла Л. Джексона в фильме «Змеиный полёт» полон ошибок в ударениях и переводится неточно, не говоря уже о несоответствии звука и картинки.
А Стив Карелл в образе Майкла Скотта в сериале «Офис» будто бы охрип. Впрочем, исходя из контекста, эту ошибку можно назвать уместной и даже нарочитой.
Больше всего не повезло героям фильма «Гарри Поттер и Узник Азкабана». Из известной цитаты Сириуса Блэка «Я 12 лет ждал! В Азкабане!» получился абсурдный набор слов. Что, в общем-то, тоже можно оправдать, учитывая, как сильно по задумке Роулинг «Азкабан» сводит с ума.
Вряд ли услугами ElevenLabs будут пользоваться большие киностудии, но для развлечения пользователям интернета он подойдёт. Впрочем, есть все шансы, что нейросеть со временем приноровиться лучше дублировать видео.
Любой желающий может испытать новую нейросеть, загрузив собственное видео или вставив ссылку на ролик в соцсетях.