В этой статье я расскажу вам о новой модели генерации изображений, которая называется StableDiffusionXL. Эта модель была разработана компанией StabilityAI и недавно была официально выпущена для исследовательских целей. Я покажу вам, как скачать эту модель, как настроить программу Comfy UI для работы с ней и как создавать реалистичные изображения с помощью положительных и отрицательных подсказок.
Что такое StableDiffusionXL?
StableDiffusionXL - это модель генерации изображений, которая использует диффузионный процесс для создания реалистичных изображений из текстовых подсказок. Диффузионный процесс - это процесс, при котором изображение постепенно размывается и восстанавливается с помощью нейронной сети. Эта модель состоит из двух частей: базовой модели и уточняющей модели. Базовая модель отвечает за создание грубого изображения, а уточняющая модель - за улучшение деталей и качества изображения.
Как скачать StableDiffusionXL?
Для того, чтобы скачать StableDiffusionXL, вам нужно зарегистрироваться на сайте Hugging Face, который является платформой для обмена нейронными моделями. На сайте StabilityAI вы найдете две ссылки для скачивания: одна для базовой модели, а другая для уточняющей модели. Обе модели имеют большой размер: базовая модель - 13.9 ГБ, а уточняющая модель - 6.8 ГБ. Перед тем, как скачать модели, вам нужно заполнить форму, в которой вы должны указать свои данные и цель исследования. Вы также должны согласиться с условиями использования моделей, которые запрещают коммерческое использование и распространение.
Как настроить Comfy UI для работы с StableDiffusionXL?
Comfy UI - это программа, которая позволяет вам легко и быстро работать с различными моделями генерации изображений. Comfy UI имеет удобный интерфейс, который состоит из узлов, которые можно соединять между собой для создания разных эффектов и комбинаций. Для того, чтобы настроить Comfy UI для работы с StableDiffusionXL, вам нужно сделать следующее:
- Скачать и распаковать папку с ComfyUI
- Переместить файлы с базовой и уточняющей моделями в папку models/checkpoints внутри папки с ComfyUI.
- Скачать файл JSON по ссылке, которая есть на сайте StabilityAI. Этот файл содержит готовую схему узлов для работы с StableDiffusionXL.
- Запустить программу ComfyUI с помощью файла Run NVIDIA GPU.bat.
- Перетащить файл JSON в окно браузера, которое откроется автоматически.
- Выбрать файлы с базовой и уточняющей моделями в соответствующих узлах Load Checkpoint.
- Ввести свои текстовые подсказки в зеленом и красном полях Positive Prompt и Negative Prompt.
- Нажать на кнопку Q для запуска генерации изображения.
Как создавать реалистичные изображения с помощью StableDiffusionXL?
С помощью StableDiffusionXL вы можете создавать реалистичные изображения из текстовых подсказок. Текстовые подсказки могут быть положительными или отрицательными. Положительные подсказки указывают, что вы хотите видеть на изображении, а отрицательные подсказки указывают, чего вы не хотите видеть на изображении. Например, если вы хотите создать изображение собаки, вы можете ввести в положительное поле “собака”, а в отрицательное поле “кошка”. Это поможет модели сфокусироваться на собаке и исключить кошку. Вы также можете использовать более детальные подсказки, например, указывать цвет, размер, породу, эмоцию или другие характеристики собаки.
Когда вы нажмете на кнопку Q, модель начнет генерировать изображение. Сначала вы увидите результат базовой модели, который будет довольно грубым и нечетким. Затем вы увидите результат уточняющей модели, который будет более детальным и реалистичным. Вы можете сравнивать оба результата и видеть разницу в качестве. Вы также можете изменять свои текстовые подсказки и запускать генерацию заново, чтобы получить разные варианты изображений