Stability AI (создатель нейросети Stable Diffusion) выпустил SDXL модель 0.9 - это улучшение ранней бета-версии SDXL и популярной модели v1.5. Модель SDXL является ПО (программным обеспечением) с открытым исходным кодом.
Это гораздо более крупная модель. Общее количество параметров модели SDXL составляет 6,6 миллиарда по сравнению с 0,98 миллиардами для модели v1.5.
Различия между моделями SDXL и v1.5
Модель SDXL состоит из двух моделей — базовой модели и модели уточнения. Базовая модель задает глобальную композицию. Модель уточнения добавляет более мелкие детали.
Языковая модель (модуль, который понимает текстовые подсказки) представляет собой комбинацию самой большой модели OpenClip (ViT-G/14) и OpenAI CLIP ViT-L. Вместе с языковой моделью модель SDXL генерирует высококачественные изображения, точно соответствующие подсказке.
Модель SDXL основана на использовании обучающих изображений размером менее 256×256. Это значительно увеличивает обучающие данные, не отбрасывая 39% изображений в корзину.
Размер генерируемых изображений SDXL по умолчанию составляет 1024×1024. Это в 4 раза больше, чем 512×512 у модели v1.5.
В настоящее время AUTOMATIC1111 не поддерживает SDXL. Краткосрочным решением является использование расширения SDXL Demo для запуска модели SDXL.
Настроить AUTOMATIC1111 можно в Google Colab, Windows или Mac.
Установить демонстрационное расширение SDXL в Google Colab просто. Введите URL-адрес расширения в поле <Extensions_from_URL>:
https://github.com/lifeisboringsoprogramming/sd-webui-xldemo-txt2img
После запустите колаб, как обычно.
Настройка расширения SDXL
Шаг 1: Заполните форму соглашения
Заполните эту форму в HuggingFace. Если вы не видите форму, значит, вы ее уже заполнили или она больше не требуется.
Шаг 2: Создайте токен Huggingface
Перейдите на эту страницу, создайте и скопируйте токен.
Нажмите «Новый токен», дайте ему имя и скопируйте его.
Шаг 3: Введите токен доступа
В веб-интерфейсе AUTOMATIC1111 перейдите на страницу настроек. Перейдите в раздел SDXL Demo, используя выбор левой панели.
Введите свой токен доступа в поле токена доступа Huggingface. Выберите SDXL 0.9 (fp16) в поле Модель.
Щелкните Применить настройки.
Для пользователей Google Colab необходимо остановить и перезапустить ячейку. Не отключайте среду выполнения.
Вы должны увидеть загружаемую модель при следующем запуске.
Использование демонстрационного расширения SDXL
Базовая модель
Чтобы использовать базовую модель SDXL, перейдите на демонстрационную страницу SDXL в AUTOMATIC1111.
Интерфейс похож на страницу txt2img. Введите приглашение и нажмите «Создать» , чтобы сгенерировать изображение.
Модель уточнения
Чтобы использовать модель уточнения, установите флажок «Уточнение» . Появится холст изображения.
Загрузите изображение, созданное из базовой модели, на холст изображения.
Щелкните Уточнить , чтобы запустить модель уточнения.
Все изображения ниже созданы с помощью SDXL 0.9
Параметры генерации:
- Размер: 1536×1024
- Шаги выборки для базовой модели: 20
- Шаги выборки для модели рафинера: 10
- Сэмплер: Эйлер а
Посмотрите видео, как Как запустить SDXL на своем ПК:
P. S. Приглашаю всех желающих на бесплатный мастер-класс «Специалист по нейросетям»! За один день вы познакомитесь с несколькими нейросетями (ChatGPT, Midjourney, Claude, YandexGPT, GigaChat, Kandinsky) и узнаете, как стать востребованным специалистом с достойным доходом.
<<<<<< Регистрация на мастер-класс >>>>>>
После регистрации вы получите ПОДАРОК — PDF-книгу «10 способов заработка на нейросетях ChatGPT и Midjourney».