Найти в Дзене
Домконнект

Новая нейросеть Sora от OpenAI создает очень реалистичное видео по текстовому запросу

Посмотрите на это видео. Его создала нейросеть. Пользователь составил текстовый запрос: «Вид с беспилотника волн, разбивающихся о скалистые утесы вдоль пляжа Гарай-Пойнт в Биг-Суре. Разбивающиеся голубые воды создают волны с белыми краями, в то время как золотой свет заходящего солнца освещает скалистый берег. Вдалеке находится небольшой остров с маяком, а край утеса покрыт зеленым кустарником. Крутой спуск с дороги к пляжу - впечатляющее зрелище, поскольку края утеса выступают над морем. Этот вид передает первозданную красоту побережья и суровый ландшафт шоссе Тихоокеанского побережья». А искусственный интеллект воплотил его. Это работа ИИ-модели Sora от компании OpenAI. До этого были попытки придумать нечто подобное. Но все они оказывались сырыми. Лица кривые, движения странные. Сравните, например, с этим роликом, в котором Уилл Смит поедает спагетти. Его создал около года назад пользователь Reddit с помощью StableDiffusion. И насколько реалистичную живую картинку мы видим сейчас.

Посмотрите на это видео. Его создала нейросеть.

Пользователь составил текстовый запрос: «Вид с беспилотника волн, разбивающихся о скалистые утесы вдоль пляжа Гарай-Пойнт в Биг-Суре. Разбивающиеся голубые воды создают волны с белыми краями, в то время как золотой свет заходящего солнца освещает скалистый берег. Вдалеке находится небольшой остров с маяком, а край утеса покрыт зеленым кустарником. Крутой спуск с дороги к пляжу - впечатляющее зрелище, поскольку края утеса выступают над морем. Этот вид передает первозданную красоту побережья и суровый ландшафт шоссе Тихоокеанского побережья». А искусственный интеллект воплотил его.

Это работа ИИ-модели Sora от компании OpenAI. До этого были попытки придумать нечто подобное. Но все они оказывались сырыми. Лица кривые, движения странные. Сравните, например, с этим роликом, в котором Уилл Смит поедает спагетти.

Его создал около года назад пользователь Reddit с помощью StableDiffusion.

И насколько реалистичную живую картинку мы видим сейчас.

Разработчикам Sora удалось практически невозможное: создать генеративную модель, которая создает видео не по кадрам, а сразу целым. Это не допускает деформации объекта при движении или перемещении «камеры».

Sora также может сделать ролик на основе статичных изображений, а также заполнять недостающие кадры в уже готовых клипах и даже расширять их.

На сайте разработчиков написано, что их ИИ после долгого обучения знает, как ведут себя объекты в реальном мире и понимает подсказки. Она выдает ролики с высоким уровнем детализации. Правда, пока не дольше минуты.

Но Sora тоже ошибается и не всегда точно показывает физику сложной сцены, может путать причинно-следственные связи. Но она продолжает учиться. Обратите внимание на ноги девушки в ролике. Они незаметно меняются.

Но даже с такими «ошибками» это настоящий прорыв.

В открытом доступе нейросети пока нет. Ее тестирует группа специалистов, среди которых не только промт-инженеры, но и иллюстраторы, дизайнеры, режиссеры.

Когда Sora выложат для всех остальных – неизвестно. Но можно подать заявку на сайте для того, чтобы попасть в ряды первых счастливчиков.

Ну а пока ищем оптимальную скорость интернета, чтобы не грустить, когда потребуется стабильное соединение (МТС, билайн, Дом.ру, Ростелеком, ТТК, Мегафон).

Подписывайтесь на наш Telegram и дзен-канал и читайте еще больше новостей

freepik.com
freepik.com