Новая нейросеть Sora генерирует сверхреалистичные видео хронометражом до 1-й минуты. Нейросеть показала пугающе качественный результат на стадии закрытого тестирования. В скором времени она будет выпущена в общий доступ.
Компания OpenAI, используя опыт, полученный в ходе создания графической нейросети DALL-E и текстовой нейросети ChatGPT, разработала новую нейросеть Sora. Она позволяет создавать видеоролики. Посмотрите на пример ее работы ниже:
Работает система стандартно: текст-результат. Чем подробнее будет описание, тем качественнее будет результат.
Нейросеть не только ориентируется на создание конкретного описываемого явления в сюжете, но также учитывает поведение остальных участников и окружения в кадре. В результате видео получаются более сложными и правдоподобными.
Sora — это диффузионная модель. Она начинает процесс генерации с создания области статического шума аналогичному экрану помех на старых телевизоров. В дальнейшем, шаг за шагом, нейросеть постепенно удаляет шум до тех пор, пока не получится приемлемый результат.
Нейросеть способна не только создавать видео с нуля, но также анимировать статичные изображения, увеличить уже имеющиеся видео или заполнить недостающие в нем кадры.
На данный момент Sora находится на стадии закрытого тестирования. Доступ к ней имеет ограниченная группа художников-визуалистов, дизайнеров и кинематографистов, а также команда red teamers. Последние будут тестировать нейросеть на наличие дезинформации, ненавистнического контента, предвзятости. В свою очередь, творческая фокус-группа протестирует нейросеть на предмет качества генерируемого контента.
Несмотря на то, что результаты, которые показали OpenAI впечатляют, при пристальном просмотре, можно уловить некоторые несостыковки. Сами разработчики признаются, что нейросеть пока не совершенна и может путать причинно-следственные связи, направление движения персонажей, ошибаться в физике сложных сцен и тд.
OpenAI — не единственная компания, которая занимается разработкой нейросети, способной создавать видео на основе текстового запроса пользователя. Недавно стало известно, что нейросеть Midjourney в скором времени также получит аналогичный функционал. А летом 2023 года нейросеть Kandinsky от Сбера получила возможность создавать короткие анимации, впрочем, до результатов Sora ей пока далеко.
Следите за новостями в наших социальных сетях: ВКонтакте и Telegram.