80 подписчиков
Есть крутой опенсорсный text-2-speech (TTS) проект Coqui. У них в наличии имеется сайт, на котором много голосовых пресетов, есть настройка скорости произношения, легко клонировать речь и генерить на её основе фразы на разных языках.
Также у них репо на гитхабе Coqui TTS, которое используется разными проектами, как база для работы голосом. Тут есть поддержка Bark для клонирования, предобученные модели на 1100+ языков, Tortoise для быстрого инференса, API, и смешивание голосов. Можно натренить модель на своих данных, если нужно. Однако эта модель по качеству генераций уступает той, что на сайте — XTTS, которая после пробника перекрыта платкой.
Теперь они выложили веса XTTS в открытый доступ. Что имеем:
* клонирование голоса по 3 секундам (больше-лучше)
* генерация клонированным голосом на по тексту разных языках
* качество в 24khz
Camenduru уже запилил колаб. Заодно вот модель Wav2Lip для липсинка... Собираем в режиме лего опенсорсный Heygen.
Демо (HF)
Демо (колаб)
Около минуты
15 сентября 2023
130 читали