Американская компания Luma AI не побоялась представить новую нейросеть Dream Machine по созданию видео, изначально отдав лидерство сервису Sora, разработанному OpenAI, и Kling китайского происхождения. Но сегодня к Dream Machine приковано больше внимания пользователей, и всё потому, что платформа, в отличие от своих конкурентов, предоставила возможность генерировать видео всем желающим.
Зарегистрироваться на сервисе Dream Machine можно абсолютно бесплатно. Регистрация происходит через Google аккаунт. Каждому пользователю на бесплатном тарифе предоставляется возможность создать 20 роликов в день. При этом одновременно сервис может обрабатывать только три запроса. Продолжительность готового видео не превышает пяти секунд. Но при качественной картинке и удачном промте в итоге получаются очень реалистичные кадры.
В статье будут примеры. С целью протестировать нейросеть, я подобрала несколько изображений из советских мультфильмов.
Создатели нейросети заявляют, что на генерацию одного видео сервис затрачивает около двух минут. На сегодняшний день это утверждение далеко от истины: из-за большого наплыва пользователей на создание одного видео уходит гораздо больше времени.
В моем случае первое видео было сгенерировано спустя час после запуска задачи, остальные – только через два часа. Но зато результат меня сильно порадовал – взгляните, как ожил ежик в тумане, а я ведь просто загрузила картинку в Dream Machine даже без промта!
Интересно, что нейросеть может создавать видео как по текстовому описанию, так и по готовому изображению. В справке сервиса сказано, что к загруженному изображению требуется добавить текстовый промт, но, как вы уже поняли, чтобы объекты в кадре стали двигаться, это даже не обязательно! Тем не менее, чем точнее будет промт, тем на выходе получится видео, близкое к вашим ожиданиям.
У сервиса есть дополнительная функция Enhance Prompt (улучшенная подсказка). Чтобы воспользоваться ей, просто поставьте галочку внизу поля с заданием для нейросети. Подключив данную опцию, нейросети можно передавать короткие запросы, а дополнительные детали она создаст сама.
Dream Machine поддерживает режим Text-to-video. В этом случае при генерации видео система будет опираться на входные данные и сохранять одинаковый внешний вид персонажей на всех кадрах.
Сейчас нейросеть работает далеко не идеально: в готовых видео присутствуют баги и неточности. Так, в моем примере у домовенка Кузи что-то случилось с глазами. Наверное, Кузенька стал плохо видеть.🤭
Пожалуй, пользователей, которые активно взаимодействуют с нейросетями для создания изображений, не удивят проблемы с руками. Dream Machine также не обошло это «поветрие» стороной.😄 Ну и всякие неточности вы можете увидеть в моих примерах:
Зато вот этот кадр получился очень классным:
Я не могла не протестировать, как работает сервис, и тоже создала несколько видео по сюжетам из советских мультфильмов. Обратите внимание, я даже не добавила промты ни к одной загруженной картинке, но результат меня приятно удивил.
Активные пользователи Dream Machine могут подключить платный тариф. Тариф стоимостью $400 позволит создавать 2000 видео в месяц. Жаль, что большинству пользователей из России эта возможность недоступна.