Привет, мир! Я бы хотел рассказать о своем open-source проекте Wunjo AI с открытым исходным кодом, который позволит вам создавать дипфейк видео и синтезировать речь из текста у себя на компьютере. В этом посте я постараюсь познакомить вас с возможностями Wunjo AI и пригласить вас в поддержать проект на GitHub. Видео проекта: Возможности Как начать? Вы можете установить готовый проект на Linux, MacOS или Windows. Видео как установить на Windows: Также, если вам интересно узнать о том, как проект работает, следите за новостями на Хабре, я буду об этом там писать и присоединяйтесь к обсуждению проекта в этой статье. #wunjo #deepfake #open-source #text-to-speech #github
Привет, мир!
Я бы хотел рассказать о своем open-source проекте Wunjo AI с открытым исходным кодом, который позволит вам создавать дипфейк видео и синтезировать речь из текста у себя на компьютере. В этом посте я постараюсь познакомить вас с возможностями Wunjo AI и пригласить вас в поддержать проект на GitHub.
Видео проекта:
Возможности
- Синтез текста в речь: с помощью Wunjo AI вы можете легко преобразовывать письменный текст в реалистичную речь. Независимо от того, являетесь ли вы рассказчиком, создателем контента или работаете над решениями для специальных возможностей, передовые методы обработки естественного языка (NLP) позволят вам создавать реалистичное аудио из текста. У меня доступно три модели, женский, мужской и робо- голоса на русском. Вы также можете добавить свои модели Tacatron2 для голоса и использовать формат фонемы для английского языка. Вы также можете создать диалог между большим количеством людей.
- Создание дипфейковых видео: Преобразуйте существующие изображение в видео, плавно накладывая мимику и жесты на разных персонажей. Вы также можете управлять движением и вращением головы. Если вы добавите расширение, то сможете генерировать изображения для дипфейк видео с помощью Dall-e 2. На изображении должны быть отчетливо видны глаза и рот, тогда вы сможете оживить его.
- Расширения: Вы можете создавать свои расширения для использования в Wunjo AI для повышения функциональности. Например, есть расширения, которая позволяет взаимодействовать с консолью, использовать GPU, обучать модель на вашем голосе или работать с ChatGPT. Список расширений доступен в приложении. При создании возможности расширений я был вдохновлен AUTOMATIC1111
Как начать?
Вы можете установить готовый проект на Linux, MacOS или Windows.
Видео как установить на Windows:
Также, если вам интересно узнать о том, как проект работает, следите за новостями на Хабре, я буду об этом там писать и присоединяйтесь к обсуждению проекта в этой статье.