Alibaba, китайский гигант онлайн-ритейла, сделал шаг, который застал врасплох огромное количество экспертов и энтузиастов, представив EMO. Название означает "Emote Portrait Alive" и переводится как технология, основанная на искусственном интеллекте, для создания видео из изображений.
Суть работы EMO можно свести к тому, что она способна оживить любую фотографию, создав ультрареалистичное видео, в котором изображенный на ней человек говорит или поет. Alibaba создала официальную страницу для EMO, на которой полностью демонстрирует, как ИИ справляется с этой задачей, и, кроме того, приводит примеры различных применений этого инструмента.
Проект разработали Линьруй Тянь, Ци Ван, Банг Чжан и Лифнг Бо, исследователи из Института вычислительного интеллекта Alibaba. Этой команде удалось представить миру ИИ, способный противостоять проекту Sora от OpenAI. По словам исследователей, EMO способен создавать выразительные, естественные и плавные движения лица.
Это означает, что результаты получаются чрезвычайно реалистичными, так что картина может ожить, и в ней мало элементов, выдающих ее происхождение. Логично, что все это происходит в рамках, которые учитывают остальные инструменты, разработанные для этой цели.
"Мы предлагаем EMO - фреймворк для создания выразительных портретов и видео на основе аудио. На основе одного опорного изображения и вокального аудио, например, речи или пения, наш метод может генерировать видео с вокальными аватарами с выразительной мимикой и различными позами головы".
Об этом можно прочитать на официальном сайте EMO, где подробно описано, как это работает. Модель, которую они разработали для EMO, чтобы обеспечить реалистичные результаты, захватывает весь спектр человеческих выражений.