Рисующим нейросетям уже около трёх лет. Все мы уже нарисовались портретов, красивых женщин, чудозверей и прочего. Многим это уже надоело.
И настало время сторителлинга.
Сторителлинг (от англ. storytelling) — это искусство рассказывать истории, которое активно используется в маркетинге, рекламе, журналистике и других областях. Он позволяет донести информацию до аудитории через увлекательные и эмоционально насыщенные повествования.
Что ж, давайте попробуем реализовать сторителлинг с помощью промптов.
Например у меня есть идея создать мини историю в маленькой девочкой в красной куртке в городе недалёкого будущего.
Это будет 5 изображений в одной стилистике, с двумя персонажами, которые должны быть одинаковые на каждой картинке.
Сложности? Да
Надо написать пять больших промптов, в которых будет расписан один и тот же персонаж, стилистика, но события должны меняться
Сам стиль, если просто вводить промпт то сцены вокруг будут меняться.
Решения? Отдать это задание нейросети
Это может быть любая нейросеть генерирующая текст, chatgpt, gigachat и так далее, даже яндекс Алиса легко справится с подобной задачей.
Контроль стиля - я буду использовать LoRA для котнроля стиля изображения.
Итак, поехали.
Я использую для этого своего бота на базе chatgpt и даю ему вводное задание
С такого простого задания бот сгенерировал мне промпт, который я буду закидывать в мою сборку ComfyUI, к которой подключена Лора имитирующая широкие мазки кисти. Вот что получилось:
A small girl in a vibrant red jacket stands confidently on a bustling street in a cyberpunk city. The scene is filled with neon lights and futuristic skyscrapers, casting colorful reflections on the wet pavement. The girl has short hair and an adventurous expression, gazing up at the towering buildings and vibrant holographic advertisements that illuminate the night. Surrounding her are various futuristic elements, such as flying cars and diverse pedestrians in eclectic outfits. The atmosphere is lively and dynamic, capturing the essence of a vibrant cyberpunk world where technology and imagination collide.
Выше этот самый промпт, можете пользоваться, все нейросети будут рисовать примерно одинаковое изображение, за исключением стиля.
Теперь перенесём девочку на крышу этого города. Как это сделать?
Попросить у бота, так же как мы бы попросили у человека.
И получаем
A small girl in a vibrant red jacket sits on the edge of a rooftop, gazing out over a sprawling cyberpunk city. The skyline is filled with towering futuristic skyscrapers adorned with neon lights, and colorful holographic advertisements flicker in the evening sky. The girl's short hair sways gently in the breeze, and her adventurous expression reflects awe and curiosity as she takes in the bustling city below. The rooftop is decorated with small plants and futuristic gadgets, adding a personal touch to the scene. The atmosphere is serene yet vibrant, capturing the essence of wonder and exploration in a dynamic cyberpunk world.
Не плохо, добавим к ней на крыше ещё одного персонажа, робота, который что нибудь ей дарит
И получаем:
A small girl in a vibrant red jacket sits on the edge of a rooftop, gazing out over a sprawling cyberpunk city. The skyline is filled with towering futuristic skyscrapers adorned with neon lights, and colorful holographic advertisements flicker in the evening sky. As she admires the view, a friendly robot approaches her, extending its metallic arms towards her. In its hands, it holds a mesmerizing hologram of a blue flower, glowing softly against the backdrop of the city. The girl's eyes widen in surprise and delight as she reaches out to touch the holographic flower, creating a moment of wonder and connection between technology and nature. The atmosphere is enchanting, blending the vibrant energy of the cyberpunk world with the innocence of childhood curiosity.
Присмотревшись внимательно мы видим что причёска девочки изменилась. Это нормально. Для полного контроля персонажей нужны так же Лоры этих персонажей, об этом я буду рассказывать в одной из следующих статей.
Двигаем дальше, скинем робота с крыши
И получаем:
A small girl in a vibrant red jacket sits on the edge of a rooftop, gazing out over a sprawling cyberpunk city. The skyline is illuminated with towering futuristic skyscrapers and colorful neon lights. Suddenly, a friendly robot, which had been extending its metallic arms towards her with a glowing hologram of a blue flower, loses its balance and begins to fall off the roof. The girl’s eyes widen in panic as she leaps to her feet, reaching out in an attempt to grab the robot just before it falls. The scene captures the urgency and determination in her expression, as she embodies the spirit of courage and compassion in a vibrant cyberpunk world. The background features the bustling city, adding to the dramatic atmosphere of this heartfelt moment.
Крипово) Робот как будто её пугает, а девочке всё равно. И сам робот другой.
Как это исправить - либо перегенерация, либо ослаблять лору, либо так и написать боту что у нас странноватая картинка, но двинем дальше к финальному кадру.
О редактировании изображений - отдельная большая тема, сейчас моя задача показать вам как без труда сохранять историю, не копаясь в промптах. Простыми словами творить и не напрягать голову.
И получаем
In a poignant final scene, the small girl in a vibrant red jacket kneels on the pavement next to the scattered remnants of the fallen robot. The neon lights of the cyberpunk city cast a soft glow over the scene, highlighting the debris around her. With a look of sadness and determination in her eyes, she gently holds in her hands the glowing blue flower that the robot had gifted her. The flower emanates a gentle light, symbolizing hope and connection despite the loss. The atmosphere is filled with emotion, capturing the bittersweet moment of friendship and the impact of technology in a vibrant yet challenging world. The background features the bustling city, contrasting the stillness of the moment with its lively energy.
Робота совсем потеряли) И опять другая причёска у девочки, но суть истории передалась отлично.
Вот так мы можем объединять нейросети для того, чтобы они работали вместе.
Языковая модель написала промпт, а диффузионная модель отрисовала изображения по этим промптам)
Пользуйтесь этим лайфхаком)
Изображения были с сгенерированы в ComfyUI
Что это за нейросеть я писал ранее в этой статье
Так выглядит рабочий процесс, в который я просто вставляю промпт и жму кнопку Queue. Всё настроено работает автоматически.
Ещё сейчас частый вопрос: "Как генерировать изображения в высоком разрешении?"
Да, модели по умолчанию используют низкое разрешение кратное 1024x1024px
В новых моделях FLUX это можно настраивать.
В моих сборках разрешение и детализация изображений намного выше.
К чему я это. Качество изображения не зависит от промпта, как бы вы там не писали, вы упираетесь в возможности нейросети. Однако если вы хотите стать в этом профессионалом, нужно изучать не промпты и волшебные слова, а веса и контроль этих весов до генерации. Об этом будет много статей на этом канале.
Так же покажу некоторые наработки до написания этой статьи на других моделях и в других стилях
Pavel Elpa