159 подписчиков

StableDiffusion отдыхает: ставим нейросеть FLUX на ПК

12 августа 202412 авг 2024

1809

3 мин

Оглавление

Ключевые обновления
Установка и использование
Тестирование и производительность

Приветствую!

Прямо сейчас нейросеть FLUX разрывает всех и вся: бывшие разработчики SD создали нейросеть FLUX, которая прекрасно понимает ваши запросы и генерирует отличные картинки.

Версий всего 3: PRO, DEV и SCHNELL.
Pro получат только те, кто приобрел на неё подписку, а DEV и SCHNELL можно попробовать локально прямо сейчас на своём компьютере!

Недавно выпустил теорию т.к. слишком много версий FLUX стало, для начала ознакомьтесь:

Теория по FLUX.1: Как выбрать версию? BNBF4, GGUF или FP8

Neuro-сеть2 сентября 2024

Автор, известный под ником lllyasviel, создатель таких проектов, как ControlNet, Fookus, и Omote, выпустил обновление своего инструмента для автоматизации нейросетевых задач — Forge. Новая версия 2.0.0 не просто обновлена, а полностью переписана с нуля. Мы рассмотрим основные нововведения и улучшения, которые получили пользователи.

Ключевые обновления

Обновление Gradio до версии 4.x+. Новая версия Gradio стала более стабильной и отзывчивой. Интерфейс сохранил свою простоту, но были добавлены новые функции, такие как удобные вкладки для работы с изображениями, новые кнопки и функциональные слайдеры.
Поддержка широкого спектра моделей и технологий. В новой версии добавлена поддержка множества современных моделей, включая SD3, FLUX, HunyuanDiT и другие. Расширена поддержка диффузионных моделей, что позволяет легко интегрировать новые разработки.
Улучшенная работа с FLUX. lllyasviel представил собственную реализацию инференса для модели FLUX с использованием технологии bnb NF4. Это позволяет значительно ускорить обработку, сохраняя высокое качество. Модель может работать на видеокартах с 6-8 ГБ VRAM и поддерживает современные библиотеки Cuda.
Управление памятью. Введена возможность ручного управления распределением памяти между видеокартой и оперативной памятью. Пользователи теперь могут сами выбирать, какая часть данных будет храниться в VRAM, что особенно важно при работе с ограниченными ресурсами.
Оптимизация ControlNet. В новой версии улучшена интеграция ControlNet, что приводит к более быстрой загрузке и повышению производительности. Также добавлены новые модели и функции, которые ранее не были доступны в других интерфейсах.

Установка и использование

Процесс установки остался простым и знакомым пользователям предыдущих версий:

Установите Python и Git.
Скачайте проект с официальной страницы GitHub (https://github.com/lllyasviel/stable-diffusion-webui-forge) или используйте готовую сборку с релизами (https://github.com/lllyasviel/stable-diffusion-webui-forge/releases).

Лично я установил версию "Всё включено", чтобы не ставить остальные инструменты и зависимости.

После распаковки достаточно запустить файл run.bat, чтобы автоматически установить все необходимые компоненты. Рекомендуется устанавливать Forge с нуля, чтобы избежать возможных ошибок.
Установите нужную модель Flux в директорию по пути .../webui/models/Stable Diffusion

Тестирование и производительность

На практике новая версия показала значительное улучшение в скорости работы:

Генерация изображений с использованием LoRa и ControlNet стала на 30-40% быстрее.
В задачах типа image-to-image (I2I) скорость возросла на 50% и выше.

Поддерживаемые модели

На данный момент поддерживаются две модели:

flux1-dev-bnb-nf4.safetensors (NF4)
flux1-dev-fp8.safetensors (FP8)

Автор рекомендует использовать модель в формате NF4, так как она обеспечивает лучшее соотношение скорости и точности благодаря использованию собственного алгоритма bnb.matmul_4bit вместо стандартного torch.nn.functional.linear. Модель NF4 также выигрывает по точности и динамическому диапазону.