В этой статье разберём новую популярную нейросеть Luma, которая создаёт анимированные изображения.
Доступ и регистрация
Использовать можно без VPN, заходите на сайт, нажимаете кнопку Try now и авторизуетесь через аккаунт Google.
Генерация видео
Luma работает двумя способами: либо вы загружаете свое изображение, которое нужно оживить, либо, вы пишете промпт и она создаёт и анимирует изображение. При втором варианте косяков в итоговом видео будет больше. При регистрации вам даётся 30 бесплатных генераций в месяц.
Изображение в видео
Загрузите изображение в формате JPG, JPEG или PNG, нажав на значок изображения на странице генерации, вы также можете написать промпт (подсказку) для описания сцены. Промпт должен быть на английском языке.
Если включена функция "Enhance Prompt", вам просто нужно описать, что должно произойти в действии. Например: вы загрузили изображение автомобиля, а в строке описания указали "красный автомобиль едет по дороге"
Если не получается желаемый результат, вы можете попробовать отключить "Enhance prompt". Тогда промпт должен быть максимально подробным, нужно описать изображение + то, что вы хотите, чтобы происходило в движении.
Возможно, при использовании промптов без функции "Enhance Prompt" движения не будет или оно будет незначительным. При необходимости попробуйте включить в подсказку сигналы движения.
В любом случае, необходимо как можно подробнее описать важные детали изображения, какие действия выполняются и как должны двигаться различные части сцены. Например, "Женщина танцует балет, ее руки изящно тянутся вверх, когда она кружится, а танцоры позади нее низко склоняются к земле".
К сожалению, на практике Luma не всегда хорошо отрабатывает промпт. Я пыталась оживить изображение женщины, чтобы она говорила, но Luma отказывалась изображать движение губ.
Вот так нейросеть анимировала фото моей кошки:
Видео из текста
Отличный способ добиться хороших результатов - использовать "Enhance Prompt". Включив эту функцию, вы сможете использовать короткие промпты, например "плюшевый мишка плавает в океане ", и Luma автоматически сгенерирует дополнительные описания, чтобы помочь создать более подробную генерацию.
Если вы не можете получить ожидаемые результаты, попробуйте обойтись без "Enhance Prompt". Тогда ваш промпт должен максимально подробно описывать содержание сцены:
Движение камеры: “наезд камеры”, “съемка с FPV дрона”
Движение главного объекта: “Плюшевый медвежонок плавает с руками и ногами, а вокруг плещется бурная вода".
Особенности объекта: "белый плюшевый медвежонок, носит солнечные очки"
Свет и фон:" закатный свет, на фоне пляж с пальмами"
Вот такая генерация получилась у меня по запросу: A highway along the sea, a red car is driving, shooting from a fpv drone
Генерация обычно занимает несколько минут, зависит от нагрузки. Вы можете уйти с сайта, а позже найти созданное видео у себя в библиотеке.
Loop - зацикливание видео
Под полем для ввода запроса появилась функция Loop. Она позволяет зациклить ваше видео
Вот что получается, если её использовать:
End frame
Вы можете загрузить 2 изображения: стартовой и финальное, в процессе одно изображение должно трансформироваться в другое.
Я загрузила изображение плюшевого котёнка и зайчика. Трансформация получилась немного жутковатая))
Удачи с генерациями! Поделитесь своими результатами в комментариях!
Если вам была интересна и полезна эта статья - Подписывайтесь на мой телеграм канал" Нейросети без хайпа"! Там обзоры новых нейросетей и полезные кейсы по работе с ними.