Captions, стартап по редактированию видео на базе ИИ, запустил в этом месяце новое приложение под названием Lipdub для перевода видео на 28 языков. Lipdub доступен в App Store бесплатно и поддерживает несколько языков, включая французский, хинди, испанский, итальянский, португальский, японский и другие.
Как это работает: люди записывали видео на свой телефон так, чтобы было видно только их лицо. Приложение обрабатывает видео и возвращает его пользователю через несколько минут с наложением выбранного языка. LipDub даже позволяет использовать некоторые сленги, в том числе «язык зумеров», «детский лепет» и др. На промо-ролике видно, что приложение также может изменять движение губ в соответствии с выбранным языком, однако иногда возникает задержка между звуком и движением губ.
На сайте Captions сообщает, что более 3 миллионов авторов уже воспользовались его одноименным приложением для редактирования видео. Стартап утверждает, что у него более 100 000 пользователей ежедневно. Приложение Captions предлагает несколько функций редактирования видео на базе искусственного интеллекта, таких как удаление междометий, уменьшение фонового шума и улучшение речи. В приложении также есть функция AI Lipdub, которая может изменять движение губ при постпродакшн-редактировании. Теперь, судя по всему, ее выделили в отдельное приложение.
Captions была основана в 2021 году Гауравом Мисрой, который был главой отдела проектирования в Snapchat. В июне компания получила 25 миллионов долларов в раунде серии B. На сегодняшний день Captions привлекла финансирование в размере 40 миллионов долларов.
«Мы надеемся, что технология Lipdub устранит языковые барьеры и в конечном итоге позволит большему количеству людей услышать свои истории — истории, которые в противном случае могли бы быть потеряны при переводе», — рассказал генеральный директор Captions Гаурав Мисра.
Что дальше: в будущем, по словам Мисры, генеративный искусственный интеллект должен обеспечивать перевод в режиме реального времени для трансляций или видеоконференций: «Представьте, что вы разговариваете по телефону Zoom с кем-то, кто не говорит на том же языке, но прекрасно вас понимает».
Использование перевода и искусственного интеллекта для охвата более широкой аудитории - растущая тенденция. В июне YouTube объявил, что тестирует инструмент на базе искусственного интеллекта, позволяющий пользователям автоматически дублировать свои видео на других языках. В прошлом месяце компания заявила, что интегрирует дубляж на основе искусственного интеллекта непосредственно в YouTube Studio для облегчения доступа людям, желающим конвертировать видео на другие языки.
Lipdub является яркой демонстрацией того, насколько полезным может быть генеративный ИИ, но оно также иллюстрирует огромный потенциал технологии для создания реалистично выглядящих дипфейков. По мере совершенствования технологий — а генеративный искусственный интеллект быстро совершенствуется — он также может стать интересной альтернативой традиционному голливудскому дубляжу.