ElevenLabs представила Dubbing v2 — нейросеть сохраняя голос и подачу оригинала при переводе на другой язык

ElevenLabs представила Dubbing v2 — новую ИИ-модель для автоматического дубляжа видео и аудио. Она работает не только с текстом, но и с исходным звучанием: система учитывает интонацию, эмоции, темп и подачу оригинального выступления.

Dubbing v2 уже доступна в ElevenCreative и через ElevenProductions. Модель поддерживает дубляж более чем на 90 языков. В течение 7 дней ElevenLabs даёт бесплатные лимиты: 1 минуту на Free, 15 минут на Starter и 30 минут на Creator+. Подробности в материале Postium.

Читайте также: Лучшие нейросети для озвучки текста голосом

Что умеет Dubbing v2 и как она работает

Dubbing v2 ориентируется на оригинальное аудио, а не только на расшифровку речи. Поэтому при переводе она пытается сохранить не просто смысл фраз, а манеру говорящего: тон, эмоции, подачу, высоту и характер голоса.

ElevenLabs пишет, что модель также адаптирует формулировки под естественное звучание на другом языке. Это важно для дубляжа: дословный перевод часто ломает ритм речи, делает фразы длиннее или короче и сбивает синхронизацию с видео.

В Dubbing v2 есть логика синхронизации. Она подбирает перевод так, чтобы начало и конец реплик совпадали с исходной дорожкой. Весь процесс — перевод, клонирование голоса, дубляж и синхронизация — проходит автоматически.

Например, это позволяет делать дубляж YouTube-видео в ElevenCreative в один клик и локализовывать рекламные ролики под разные рынки. Для студий ElevenLabs предлагает ElevenProductions: там к Dubbing v2 добавляются переводчики, подбор голосов и профессиональное сведение.

Как пользоваться

Зайдите в ElevenLabs и перейдите в ElevenCreative. Затем загрузите видео или аудио, выберите языки для дубляжа и запустите обработку. Сервис сам переводит речь, клонирует голос и синхронизирует результат с оригиналом.

Для проектов с высокими требованиями к качеству ElevenLabs предлагает ElevenProductions. Там дубляж готовят как производственный заказ с участием специалистов, а модель отвечает за аудиочасть.

Почему это важно? Dubbing v2 сохраняет исходную манеру речи, поэтому автоматический дубляж становится ближе к полноценной локализации, а не к простой озвучке поверх перевода. Раньше речь могла быть правильной по смыслу, но звучала плоско: перевод передавал слова, но терял актёрскую подачу, паузы, напряжение, шутку или эмоциональный акцент. Теперь дубляж звучит более естественно.

Итог: Dubbing v2 — новая ИИ-модель ElevenLabs для автоматического дубляжа. Она переводит речь более чем на 90 языков, сохраняя голос и подачу оригинала.

Запись ElevenLabs представила Dubbing v2 — нейросеть сохраняя голос и подачу оригинала при переводе на другой язык впервые появилась Postium.