Приветствую!
Если вы тоже владелец видеокарты серии 20, то вы наверняка сталкивались с медленной генерацией изображений с использованием FLUX.
Особенно это ощущается, если ваша карта — Nvidia 2060 или 2080, которая, мягко говоря, не самая мощная на сегодняшний день. Однако, появились оптимизированные модели!
Проект GGUF
А если вы не понимаете что такое FLUX и почему у неё так много версий - ознакомьтесь со статьёй:
Установка в ComfUI
Недавно появившаяся оптимизация для ComfyUI под названием GGUF принесла значительные улучшения в скорости работы. Раньше генерация изображения занимала у меня несколько минут, не считая времени на загрузку модели. Но с появлением GGUF, все изменилось.
Теперь генерация изображений занимает всего полминуты-минуту. А что касается загрузки модели — она происходит практически мгновенно.
Шаг 1: Обновление ComfyUI
Даже если вы только что скачали ComfyUI, лучше сразу обновить его. Бывает, что система может поломаться из-за различных экспериментов с плагинами. Чтобы избежать лишних хлопот, переустановите ComfyUI и обновите его через файл в директории update.
Шаг 2: Редактирование файла run_nvidia_gpu.bat
Теперь найдите в корневой папке ComfyUI файл run_nvidia_gpu.bat. Откройте его для редактирования и добавьте следующую строку в самое начало:
git clone https://github.com/city96/ComfyUI-GGUF ComfyUI/custom_nodes/ComfyUI-GGUF
.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI-GGUF\requirements.txt
После этого запустите файл. Система начнет установку необходимых компонентов. Не забудьте удалить добавленную строку из файла, чтобы установка не запускалась каждый раз при старте.
Шаг 3: Скачивание нужных файлов
Скачайте файл flux1-schnell-Q4_0.gguf. Затем поместите его в папку ComfyUI\models\unet\. Если вам нужна dev версия модели, скачайте её в конце статьи. Dev версия стала значительно быстрее, на генерацию уходит примерно полторы минуты. Не забудьте установить 20 шагов для dev модели.
Шаг 4: Установка загрузчика для GGUF файлов
Для работы с GGUF файлами необходим специальный загрузчик, который устанавливается вместе с нодой. Чтобы не усложнять себе задачу, просто перейдите сюда, там вы найдете несжатый файл с комфи-схемой. Перетащите его в интерфейс ComfyUI, и схема будет у вас готова. Не удивляйтесь что это картинка :)
Установка в Forge (A1111)
Сначала нужно установить сам Forge. Это вы можете сделать прочитав статью:
Чтобы начать работу с Forge и использовать GGUF, нужно выполнить несколько шагов:
- Скопируйте файл ae.sft из ComfyUI и поместите его в папку models/vae, переименовав в ae.safetensors.
- Затем переместите два файла из директории unet в models/text_encoder/: это t5xxl_fp8_e4m3fn.safetensors и clip_l.safetensors.
- Скопируйте файлы flux1-schnell-Q4_0.gguf или flux1-dev-Q4_0.gguf в папку models/Stable-diffusion.
Вот и всё! После этого, в интерфейсе Forge выбираете нужную модель, а справа в разделе vae указываете файл ae.safetensors. Когда появится стрелка, выберите остальные модели: t5xxl_fp8_e4m3fn.safetensors и clip_l.safetensors.
Теперь вы готовы к работе!
Некоторые работы:
Ссылки на файлы
ae.sft
t5xxl_fp8_e4m3fn.safetensors и clip_l.safetensors
flux1-schnell-Q4_0.gguf и остальные Q-версии для пользователей
flux1-dev-Q4_0.gguf и остальные Q-версии
Лично я выбрал из всех Q4_1 dev версию, для моей 3060 она оказалась самая сбалансированная по качеству и скорости.
Пробуйте и делитесь своими работами в комментариях, будем разбирать :)
Спасибо, что дочитали до конца! 🙏
Буду рад вашим комментариям🎤, лайкам🧡 и подпискам на мой канал:
Так же заходите в мою группу в VK и на канал Телеграм.
Так же оказываю услуги по созданию контента с нейросетями, обращайтесь сюда: