Нейросеть HeyGen распознает речь в ролике и переводит ее на другой язык. При этом повторяет голос и даже соответствующие движения губ.
Это первый подобный популярный сервис. Он частично поддерживает русский язык: переозвучить на нем ничего нельзя, а вот с русского на английский, испанский, польский и другие — без проблем. Из-за ограничений HeyGen пока не получится пользоваться для длинных видео или сложных роликов с несколькими голосами. Зато короткие ролики переозвучить можно даже бесплатно.
https://masterpiecer-videos.s3.yandex.net/a71a4c1ef6fa11ee8b006a067d72cb03.mp4
Как сгенерировать перевод видео в нейросети
Для входа на сайт не требуется VPN и иностранный номер телефона, только регистрация. Вот что нужно сделать, чтобы обработать свое видео:
- Удобнее сразу перейти по ссылке на сайт с бета-функцией перевода видео. Зарегистрируйтесь там или войдите через гугл-аккаунт.
- Перетащите или загрузите видео продолжительностью от 30 до 59 секунд. Другие требования к ролику: размер до 500 Мб, формат MP4, QTFF или WEBM.
- Выберите язык, на который перевести ролик: английский, испанский, французский, хинди, итальянский, немецкий, польский, португальский. Оригинальный ролик при этом может быть и на русском языке.
- Дождитесь обработки. Из-за большого спроса вы можете попасть в виртуальную очередь. Если проценты прогресса обработки не двигаются, обновите страницу.
- Скачайте результат
Какое видео выбрать
В HeyGen дается всего одна бесплатная попытка на один аккаунт. Так что стоит внимательно отнестись к выбору видео. Некоторые советы дают сами разработчики сервиса, другие собирают пользователи в сети. Вот что стоит учитывать:
В идеале стоит использовать видео без шума или музыки на фоне. Либо же музыка не должна быть выраженной.
На видео говорит только один человек.
Проверьте, чтобы в кадре не было, например, портретов или бюстов. ИИ-липсинк вставляется на то, что система распознает как лица, то есть картина может заговорить.
Говорящий должен смотреть прямо в камеру, иначе генерация мимики собьется.
Руки, микрофоны или другие предметы не должны закрывать лицо говорящего — по тем же причинам.
Спикер должен говорить на одном языке. Если он вставляет в речь на одном языке слова из другого, то генерация тоже собьется.