9992 подписчика

🗣 HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation by Hierarchical Variational Inference for Zero-shot Speech Synthesis

Синтез речи на основе больших языковых моделей получил широкое распространение.

Однако такие модели требуют большого объема данных и обладают теми же недостатками, что и предыдущие авторегрессионные модели речи, включая низкую скорость вывода и плохое качетсво речи.

В данной работе прелставлен HierSpeech++, быстрый и надежный синтезатор речи для преобразования текста в речь (TTS) и голоса (VC).

Данная модель синтеза речи позволяют значительно повысить надежность и выразительность синтетической речи.

Кроме того, значительно улучшено естественность и сходство с диктором синтетической речи даже в сценариях синтеза речи с нулевым результатом.

🖥 Code: https://github.com/sh-lee-prml/hierspeechpp

🦾 Checkpoint: https://drive.google.com/drive/folders/1-L_90BlCkbPyKWWHTUjt5Fsu3kz0du0w?usp=sharing

⚡️ Demo: https://sh-lee-prml.github.io/HierSpeechpp-demo/

📚 Paper: https://arxiv.org/abs/2311.12454v1

🔗 Dataset: https://paperswithcode.com/dataset/libri-light

@machinelearning

🗣 HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation by Hierarchical Variational Inference for Zero-shot Speech Synthesis Синтез речи на основе больших языковых моделей...

Около минуты

24 ноября 2023