В последнее время при оформлении некоторых материалов я использую изображения, согласно описанию сгенерированные ИИ. Кто-то может назвать данный способ бездушным, но иногда бывает непросто подобрать картинки к материалам, особенно если это обзор на книгу, в которой мало иллюстраций.
До недавнего времени также существовали аналогичные нейросети, что создают не изображения, а короткие видеоролики. И вот появился сервис Luma Dream Machine, что превращает картинки в клипы. О нем и предлагаю поговорить.
На самом деле использовать Luma Dream Machine просто – заходите по адресу https://lumalabs.ai/dream-machine/creations через аккаунт Google (если такого нет – заводим через электронную почту), загружаете абсолютно любую картинку через интерфейс и ждете, когда ИИ ее анимирует. Ждать придется от нескольких минут до (чаще всего) нескольких часов, если речь идет о бесплатной версии. В бесплатном режиме в месяц дается всего 30 попыток, из них в день не более 5-ти раз.
Для начала я оживил иллюстрацию известного фэнтези-художника Клайда Колдуэлла.
Вышло неплохо, но обратите внимание, как исказились пальцы колдуньи: Нейросетям подчас трудно работать с мелкими деталями.
Далее я переключился на не менее легендарного художника Бориса Вальехо (помню, в девяностые-нулевые почти все называли его «Валеджо», ну да ладно).
В одних случаях картинка была анимирована лишь слегка, зато она осталась практически не искажена.
В других случаях ИИ часто сам определяет, какая часть фото подвижна, а какая – нет. Это заметно, например, на анимации космического корабля:
В другой раз на фантастической картинке с космонавтами нарисовался целый мультфильм (правда, из-за отсутствия звука непонятно, что говорят персонажи). Это от того, что не было введено наводящее описание – и ИИ проявил инициативу.
К слову, об описании. Оно может помочь или навредить. С одной стороны, ИИ может автоматически разобраться, как улучшить картинку. А с другой – описание может его только запутать. Из позитивного примера вот на этом видео я просто подписал «люди пожимают плечами» (естественно, на английском – People shrugging shoulders in disbelief). И получил красивый облет камеры без чрезвычайного искажения лиц.
В варианте c описанием "люди разговаривают друг с другом" искажений получилось гораздо больше.
К слову, с фотографиями нейросеть справляется лучше, чем с нарисованными изображениями. Например, так я оживил встречу знаменитого пародиста "Странного Эла" Янковича с актерами фантастического сериала "Очень странные дела" (Финна малость покорежило).
Попрактиковавшись, я вспомнил, что успел наделать немало собственных панорамных фотографий. Кто-то скажет, что особого смысла анимировать их нет. Но тем не менее, не всякая техника позволяет снимать в формате с углом обзора, что аналогичен панорамным фото.
Возвращаясь к описаниям – к следующему фото оно введено не было, отчего поехала не машинка, а поросенок.
Зато без описания относительно неплохой вышла «съемка» панорамы по мотивам «Звездных войн». В оригинальном месте никакого поворота в коридоре нет, но видео получилось не без претензии на реализм.
А тут камера уже куда удачнее пошла не вбок, а вверх.
Также есть довольно любопытная функция Extend, что добавляет 5 секунд к уже созданному видео. Но обязательно нужно ввести описание. Я добавил строчку "city and surroundings", надеясь, что камера переместится в город. Но она нарисовала леса и горы:
Также есть интересная надстройка - можно к картинке добавить "+ end frame", и выбрать второе изображение: И тогда под конец ролик плавно перейдет в это самое второе изображение. Так я взял две фото одного места, одно летом, второе осенью:
А вот так нейросеть оживляет улицы крупных городов:
И под конец, вот как нейросеть анимировала картинку в начале статьи:
Спасибо за внимание! Надеюсь, статья была хоть немного полезна!
Также на канале есть отдельная рубрика, посвященная статьям про игры и гаджеты. Например, про устройства виртуальной реальности или портативные колонки.