OpenAI запускает новую модель генерации видео, которая называется Sora. О «может создавать реалистичные и творческие сцены из текстовых инструкций». Модель преобразования текста в видео позволяет пользователям создавать фотореалистичные видео продолжительностью до минуты — и все это на основе написанных ими подсказок.
Сора способен создавать «сложные сцены с несколькими персонажами, определенными типами движения и точными деталями объекта и фона», говорится во вступительном сообщении в блоге OpenAI. Компания также отмечает, что модель может понимать, как объекты «существуют в физическом мире», а также «точно интерпретировать реквизит и генерировать убедительных персонажей, которые выражают яркие эмоции».
Модель также может генерировать видео на основе неподвижного изображения, а также заполнять недостающие кадры на существующем видео или расширять его. Демо-версии, сгенерированные Sora, включены в блог OpenAI, включают воздушную сцену Калифорнии во время золотой лихорадки, видео, которое выглядит так, как будто оно было снято изнутри поезда в Токио, и другие. Многие из них имеют некоторые явные признаки искусственного интеллекта — например, подозрительно движущийся пол на видео из музея — и OpenAI говорит, что модель «может испытывать трудности с точной симуляцией физики сложной сцены», но результаты в целом довольно впечатляют.
Пару лет назад именно генераторы текста в изображения были на переднем крае способности моделей превращать слова в изображения. Но в последнее время видео начало совершенствоваться с поразительной скоростью. Google Lumiere является одним из основных конкурентов OpenAI в этой области. Как и Sora, Lumiere предоставляет пользователям инструменты для преобразования текста в видео, а также позволяет создавать видео из неподвижных изображений.
В настоящее время Sora доступна только для оценки модели на предмет потенциального вреда и рисков. OpenAI также предлагает доступ некоторым визуальным художникам, дизайнерам и кинематографистам, чтобы получить обратную связь и отзывы.
#технологии #ИИ #видео
