Пока мы все в ожидании Sora от OpenAI, группа исследователей компании Alibaba (известная нам по Aliexpress) представила свой искуственный интеллект, который способен оживить изображение — EMO AI.
EMO является аббревиатурой "Emote Portrait Alive" и представляет собой модель искусственного интеллекта cпособную генерировать видео на основе портретного изображения и аудио.
Для создания видеоролика пользователю достаточно загрузить изображение какого-нибудь персонажа и аудио дорожку (это может быть любая музыкальная композиция или записанный разговор), а нейросеть создаст реалистичный видео аватар.
Исследователи отмечают, что данная модель искусственного интеллекта была обучена на 250 часов видео- материала и 150 миллионов изображений. Стоит обратить внимание на то, что при создании анимации ИИ не использует 3D-модели, что позволяет воспроизводить плавные движения лица персонажа, делая его более естественным.
EMO AI cпособна генерировать следующие типы видео:
- «Поющие» портреты
Загрузив портретное изображение и песню, нейросеть может создать видео персонажа, который поёт. Также она способна синхронизировать картинку под ритм и текст песни. Например с её помощью Леонардо ДиКаприо может читать рэп как Eminem (полное видео можно увидеть здесь).
- Персонаж говорящий на разных языках
Данный искусственный интеллект способен генерировать видео с аудио на различных языках — от английского до китайского. Это возможно благодаря распознанию языковой тональности и созданию на основе этого мимики персонажа.
Таким образом, EMO AI позволяет анимировать любой портрет (например, с любимым киногероем) с возможностью создания монолога или выступления в разных стилях. К примеру, с помощью фотографии Одри Хепбёрн и голосового аудио можно сгенирировать полноценное интервью (видео вы можете посмотреть здесь).
Чем же EMO AI отличается от остальных ИИ по созданию видео?
- Высокое качество видео;
- Реалистичность изображения;
- Создание видео без ограничений по времени;
- Поддержка многих языков.
На данный момент дата выхода EMO AI пока не известна, но можно смело утверждать, что нейросеть превосходит многих своих конкурентов. Данная технология может стать полезной для маркетинга, индустрии развлечений и даже в обучении.
Однако, не стоит забывать о возможных последствиях и использовании искусственного интеллекта в недобросовестных целях. Поэтому необходимо найти нужный баланс между его способностями и этичностью их применения.
По всем вопросам: https://t.me/rpa_solutions