Приветствую!
В своём ТГ-канале последовательно выкладывал посты про каждый инструмент с примерами - в этой статье будет "всё в одном".
О чём речь?
21 ноября 2024 года Black Forest Labs (BFL) анонсировали набор инструментов Flux Tools. Можно сказать, это их версия ControlNet, но для Flux.
Новый пакет выпускается под лицензией Flux.1-dev Non-Commercial, так что для коммерческого использования не годится.
Состав набора:
- Flux.1 Fill. Инструмент для редактирования (inpainting, outpainting). Работает с текстом и бинарной маской.
- Flux.1 Depth Dev. Использует карту глубины для управления структурой изображения.
- Flux.1 Depth Dev LoRA. Упрощённая версия модели Depth Dev.
- Flux.1 Canny Dev. Управление структурой изображения с помощью Canny-детектора краёв.
- Flux.1 Canny Dev LoRA. Лёгкая версия модели Canny Dev.
- Flux.1 Redux Adapter. Инструмент для смешивания и генерации изображений по тексту и входным данным.
FLUX.1 Fill
FLUX.1 Fill — мощная модель с 12 миллиардами параметров для работы с изображениями. Она добавляет или изменяет элементы на основе текстовых подсказок. Бесплатная версия под лицензией Flux [dev] доступна для некоммерческого использования.
Где попробовать?
- HuggingFace — бесплатная демо-версия.
- FAL — условно-бесплатная платформа.
Подходит ли для локальной установки?
Для оригинальной модели потребуется видеокарта с 24 ГБ VRAM, например, NVIDIA 4090. Если у вас менее мощная система, можно использовать облегченную версию fp8_e4m3fn, которая требует только 12 ГБ видеопамяти (скачать).
Инструкция по установке для ComfyUI:
- Переместите файл в папку ComfyUI/models/diffusion_models/.
- Установите вспомогательные модели (например, clip_l, t5xxl_fp16) в папку /models/clip/.
- Загрузите изображение в узел ComfyUI и настройте области для редактирования с помощью MaskEditor.
Готовые рабочие процессы для ComfyUI:
- Inpainting — для точечной обработки.
- Outpainting — для расширения изображения за пределы исходного.
FLUX.1 Depth
FLUX.1 Depth работает с картами глубины для сохранения пропорций и перспективы. Светлые области на карте обозначают ближние объекты, тёмные — дальние. Эта модель полезна для создания реалистичной композиции или точного размещения объектов.
Функционал:
- Использует исходное изображение и карту глубины.
- Генерация новых изображений с текстовыми подсказками.
Варианты установки:
- Поместить их в папку ComfyUI/models/diffusion_models/.
- Установить вспомогательные модели clip_l и t5xxl_fp16.
Где протестировать онлайн?
Рабочий процесс для ComfyUI:
FLUX.1 Canny
FLUX.1 Canny использует алгоритм Canny Edge Detector для создания контурной карты изображения. Эта карта помогает сохранять структуру изображения, позволяя добавлять элементы или изменять стиль через текстовые подсказки.
Основной функционал:
- Генерация карты краёв.
- Использование карты для модификации изображения.
Где попробовать?
Установка локально:
- Разместить файлы в папке ComfyUI/models/diffusion_models/.
- Установить вспомогательные модели, такие как clip_l и t5xxl_fp16.
Рабочий процесс для ComfyUI:
FLUX.1 Redux
Redux генерирует вариации изображения Без или С текстовыми подсказками. Это удобно для улучшения деталей или изменения ракурса, например, при создании дополнительных изображений товаров.
Где доступно?
Локальная установка:
- Переместить её в папку ComfyUI/models/style_models/.
- Скача модель sigclip_vision_384 от Comfy-Org, которую нужно поместить в папку ComfyUI/models/clip_vision.
- Если генерация требует установить дополнительные модели, такие как clip_l и t5xxl_fp16.
Рабочий процесс для ComfyUI:
Спасибо, что дочитали до конца! 🙏
Буду рад вашим комментариям🎤, лайкам🧡 и подпискам на мой канал:
Так же заходите в мою группу в VK и на канал Телеграм.