В начале 2024 года OpenAI продемонстрировала возможности своей новой нейросети Sora. Эта технология способна создавать видео на основе текстового описания, достигая профессионального уровня качества — работы Sora настолько реалистичны, что кажется, будто это кадры из фильмов или мультфильмов. После многократного использования нейросетей для создания текста и изображений теперь пришло время для видео. Однако доступ к Sora ограничен, и точная дата открытия для общественности пока неизвестна.
К счастью, другие компании предоставляют сервисы для генерации видео, не такие скрытные. Правильно использованные, их решения обеспечивают качество работы, сравнимое с Sora. Готовы ли вы начать создание своего первого видео при помощи нейросетей? Приготовьтесь, следуйте за нами — мы научим вас всему необходимому.
Бесплатная альтернатива Sora — нейросеть Dream Machine от компании Luma AI
Она была представлена общественности в июне 2024 года и доступна для использования бесплатно, однако с определёнными ограничениями. Бесплатные пользователи могут создавать до 30 видео в месяц, каждое длительностью не более 5 минут. Для расширения возможностей доступны премиум-подписки Dream Machine от 30 до 500 долларов.
Нейросети давно научились создавать изображения быстро и в высоком качестве. Однако создание последовательных кадров, связанных друг с другом, всегда было сложной задачей для искусственного интеллекта. Нейросеть от Luma AI поразила нас своими достижениями — её видео настолько реалистичны, что некоторые могут принять их за работы профессиональных операторов и художников.
Как работает нейросеть при создании видео по текстовому описанию?
Сервис Dream Machine от Luma AI доступен для всех пользователей, включая жителей России. Для использования достаточно выполнить несколько простых шагов.
Чтобы сгенерировать видео с помощью нейросети, нужно перейти на сайт Luma AI и нажать кнопку "Попробовать сейчас". Затем система попросит войти в свой Google-аккаунт — это обязательный шаг для продолжения работы.
После входа в систему начинается самое увлекательное. В центре экрана расположено поле для ввода, где необходимо написать описание того, что должно происходить в видео. Пишите на английском языке (!), поэтому рекомендуется использовать переводчик для удобства.
Давайте попробуем создать видео с космонавтом, который сидит в автобусе. Описание должно быть максимально детализированным и включать стиль кадра, поэтому мы используем следующий промпт: "an astronaut sits in the bus and takes off his spacesuit, sunlight falls on him from the left, it’s summer outside the window, photorealistic, hollywood movie".
Перед началом генерации необходимо поставить галочку в пункте "Enhance prompt", который в фоновом режиме значительно улучшает ваше описание.
В результате получается видео с астронавтом в автобусе, которое выглядит как сцена из голливудского фильма. Однако, несмотря на наше желание, чтобы астронавт снял свой скафандр, это не произошло из-за необходимости более детального описания движений. Посмотрите на результат.
Для второго примера мы решили создать видео с 25-летней девушкой с большими зелеными глазами в постапокалиптической пустыне. Несмотря на её явную молодость, видео действительно напоминает отрывок из фильма "Безумный Макс" или популярного сериала "Фоллаут".
Как оживить мемы с помощью нейросети?
Нейросеть Dream Machine от Luma AI может превращать фотографии в видео. Для этого рядом с полем для текстового описания нужно кликнуть на иконку фотографии и загрузить соответствующий файл. Затем следует написать подробное описание, как указано в инструкции выше, и ожидать получения результата.
Для примера давайте попробуем оживить картинку из статьи, где мы изучали использование нейросети Bing от Microsoft. На изображении изображена девочка в белом платье с зонтом в руке — мы сделаем так, чтобы шел дождь, дул ветер, а люди проходили мимо на заднем плане. Промпт выглядит следующим образом: "a girl with an umbrella in her hand stands in the pouring rain, drops fall from the umbrella, people pass by in the background, dramatic film".
В результате получилось красивое видео, однако почему-то нейросеть не добавила эффект дождя. Что вы думаете о получившемся результате?
Многие пользователи выбирают нейросеть Luma AI для оживления мемов. Давайте попробуем превратить в видео мем с летающим котом. Загружаем изображение и пишем следующее описание: "a ginger cat flies in the air, its fur wriggles in the wind, the background flies back, epic shot."
Вновь получился не совсем тот результат, который мы ожидали, однако итог всё равно впечатляет. Нейросети развиваются очень быстро, и, возможно, уже через полгода или год каждый сможет создавать настоящие шедевры.
Очевидно, что нейросеть Luma AI для создания видео не всегда точно воспринимает наши запросы. Кроме того, на видео могут наблюдаться искажения. Главным минусом также является наличие ограничений на количество генерируемых видео в день.
Появление нейросетей, таких как Dream Machine от Luma AI, увеличивает вероятность того, что Sora от OpenAI скорее станет доступной для всех желающих. Если конкуренты предложат свои нейросети бесплатно, разработчикам ChatGPT, скорее всего, придется отказаться от идеи сделать Sora платной. Такие слухи ходят с момента её презентации.