Flux.1 Tools. Разбираем передовые модели от BFL. Онлайн и локально.

Приветствую!

В своём ТГ-канале последовательно выкладывал посты про каждый инструмент с примерами - в этой статье будет "всё в одном".

О чём речь?

21 ноября 2024 года Black Forest Labs (BFL) анонсировали набор инструментов Flux Tools. Можно сказать, это их версия ControlNet, но для Flux.

Новый пакет выпускается под лицензией Flux.1-dev Non-Commercial, так что для коммерческого использования не годится.

Состав набора:

1. Flux.1 Fill. Инструмент для редактирования (inpainting, outpainting). Работает с текстом и бинарной маской.
2. Flux.1 Depth Dev. Использует карту глубины для управления структурой изображения.
3. Flux.1 Depth Dev LoRA. Упрощённая версия модели Depth Dev.
4. Flux.1 Canny Dev. Управление структурой изображения с помощью Canny-детектора краёв.
5. Flux.1 Canny Dev LoRA. Лёгкая версия модели Canny Dev.
6. Flux.1 Redux Adapter. Инструмент для смешивания и генерации изображений по тексту и входным данным.

FLUX.1 Fill

FLUX.1 Fill — мощная модель с 12 миллиардами параметров для работы с изображениями. Она добавляет или изменяет элементы на основе текстовых подсказок. Бесплатная версия под лицензией Flux [dev] доступна для некоммерческого использования.

Где попробовать?

• HuggingFace — бесплатная демо-версия.
• FAL — условно-бесплатная платформа.

Подходит ли для локальной установки?
Для оригинальной модели потребуется видеокарта с 24 ГБ VRAM, например, NVIDIA 4090. Если у вас менее мощная система, можно использовать облегченную версию fp8_e4m3fn, которая требует только 12 ГБ видеопамяти (скачать).

Собачка по середине - это исходник для всех остальных.

Инструкция по установке для ComfyUI:

1. Скачайте модель с Civitai.
2. Переместите файл в папку ComfyUI/models/diffusion_models/.
3. Установите вспомогательные модели (например, clip_l, t5xxl_fp16) в папку /models/clip/.
4. Загрузите изображение в узел ComfyUI и настройте области для редактирования с помощью MaskEditor.

Готовые рабочие процессы для ComfyUI:

• Inpainting — для точечной обработки.
• Outpainting — для расширения изображения за пределы исходного.

FLUX.1 Depth

FLUX.1 Depth работает с картами глубины для сохранения пропорций и перспективы. Светлые области на карте обозначают ближние объекты, тёмные — дальние. Эта модель полезна для создания реалистичной композиции или точного размещения объектов.

Функционал:

• Использует исходное изображение и карту глубины.
• Генерация новых изображений с текстовыми подсказками.

Слева - исходник

Варианты установки:

1. Скачать оригинальную модель fp16 или облегчённую LoRA-версию fp16.
2. Поместить их в папку ComfyUI/models/diffusion_models/.
3. Установить вспомогательные модели clip_l и t5xxl_fp16.

Где протестировать онлайн?

• HuggingFace
• TogetherAI

Рабочий процесс для ComfyUI:

• Flux Depth Basic Workflow

FLUX.1 Canny

FLUX.1 Canny использует алгоритм Canny Edge Detector для создания контурной карты изображения. Эта карта помогает сохранять структуру изображения, позволяя добавлять элементы или изменять стиль через текстовые подсказки.

Основной функционал:

1. Генерация карты краёв.
2. Использование карты для модификации изображения.

Где попробовать?

• Бесплатно: HuggingFace, TogetherAI.
• Платно: Replicate, FAL.

Canny знает всю картинку по контуру поэтому можно менять текстуры или цвета.

Установка локально:

1. Скачать модель (fp16 или LoRA).
2. Разместить файлы в папке ComfyUI/models/diffusion_models/.
3. Установить вспомогательные модели, такие как clip_l и t5xxl_fp16.

Рабочий процесс для ComfyUI:

• Flux Canny Basic Workflow

FLUX.1 Redux

Redux генерирует вариации изображения Без или С текстовыми подсказками. Это удобно для улучшения деталей или изменения ракурса, например, при создании дополнительных изображений товаров.

Где доступно?

• HuggingFace.
• TogetherAI.

Это улучшение было без промпта

Локальная установка:

1. Скачать модель Redux (flux1-redux-dev.safetensors).
2. Переместить её в папку ComfyUI/models/style_models/.
3. Скача модель sigclip_vision_384 от Comfy-Org, которую нужно поместить в папку ComfyUI/models/clip_vision.
4. Если генерация требует установить дополнительные модели, такие как clip_l и t5xxl_fp16.

Рабочий процесс для ComfyUI:

• Flux Redux Basic Workflow.

Спасибо, что дочитали до конца! 🙏

Буду рад вашим комментариям🎤, лайкам🧡 и подпискам на мой канал:

Так же заходите в мою группу в VK и на канал Телеграм.

Вам может понравится: