Здравствуйте друзья!
Сегодня у меня отличные новости. В начале июня компания Black Forest Labs выпустила модели FLUX.1 Kontext. Хотя я и не ожидал ничего сверхъестественного, я знал, что разработчики продолжают совершенствовать старый добрый Flux.1 и смогут удивить нас. И они не подвели.
Про FLUX.1 Kontext можно смело сказать, что это настоящий прорыв в создании и редактировании изображений. Он предлагает три модели: Max, Pro и Dev. Обо всех моделях рассказывать не буду, но если вам интересно узнать больше о Max и Pro, в интернете много информации и сервисов с платным доступом к ним. Мы же сосредоточимся на модели Dev.
Dev — это модель с открытым исходным кодом и 12 миллиардами параметров. Она превосходит мультимодальные возможности GPT-4 по скорости и точности. В отличие от ChatGPT, где нужно детально описывать каждый элемент, FLUX.1 Kontext позволяет указать только изменения, сохраняя контекст и визуальную целостность. Это идеальный инструмент для любых задач: от дизайна интерфейсов до создания контента для блога и многого другого.
В этой статье я расскажу, как настроить FLUX.1 Kontext [dev] в ComfyUI локально и бесплатно. И немного упомяну о работе с моделью в интерфейсе ForgeUI посредством установки расширения.
Что такое FLUX.1 Kontext
FLUX.1 Kontext [dev] — это трансформационная модель, работающая с текстом и изображениями. Она идеально подходит для редактирования: можно изменить отдельные элементы или всю картинку, сохранив нужное, или создать новые изображения с нуля. Основное преимущество модели — возможность локального использования без API и подписок. По сравнению с ChatGPT, FLUX работает не так быстро, но более точно, особенно когда нужно изменить один элемент, например, цвет одежды, фон или добавить предмет персонажу на изображении.
Основные возможности
- Точные подсказки: Два текстовых кодировщика понимают сложные команды, позволяя менять стиль, композицию или отдельные объекты.
- Контекстное редактирование: Можно изменить только нужные области, сохраняя текстуру и структуру остальной части изображения.
- Согласованность: Модель сохраняет идентичность персонажей или объектов при многократных правках.
- Открытый код: Бесплатна для исследований и личных проектов. Для коммерции нужна отдельная лицензия.
Что нужно для работы
Для запуска FLUX.1 Kontext [dev] в ComfyUI необходимо:
- ComfyUI (версия V0.3.42, Nightly): Используйте последнюю версию разработки, иначе узлы для FLUX могут не работать.
- Модель FLUX.1 Kontext [dev]:
Полная точность: flux1-kontext-dev.safetensors (~23,8 ГБ, нужен GPU с ≥24 ГБ VRAM).
Квантованная FP8: flux1-dev-kontext_fp8_scaled.safetensors (~11,9 ГБ, 12–16 ГБ VRAM). - Оборудование: Видеокарта с минимум 8 ГБ VRAM (моя старушка RTX 3080 пыхтит, греется но пока справляется). Для слабых GPU лучше использовать квантованные GGUF модели .
- Пользовательские узлы: Через пару дней после публикации я выложу интересные workflow для FLUX.1 Kontext [dev] в своём бусти. Стандартные же пространства вы сможете загрузить в ComfyUI, нажав Рабочий процесс в верхнем меню - Просмотреть шаблоны - Flux.
Настройка ComfyUI
По настройкам ComfyUI:
- ВАЖНО! Обновление ComfyUI:
Если у вас портативная версия, запускайте update/update_comfyui.bat.
Если через git, выполняйте git pull в папке ComfyUI.
Я рекомендую сразу установить ComfyUI Manager (как установить ТУТ) — он упрощает управление узлами. - Установка пользовательских узлов:
В ComfyUI Manager в поиске Custom Nodes найдите и установите ноды для поддержки моделей в формате GGUF - ComfyUI-GGUF, Flux Context ComfyUI Node и Flux Kontext Creator for ComfyUI если вы планируете пользоваться моделями Max или Pro через API. - Загрузка модели:
Скачивайте модель с Hugging Face, ссылки я указал выше.
Скопируйте файл .safetensors в папку ComfyUI/models/diffusion-models/ а если вы решили пользоваться квантованной GGUF моделью, то файлы моделей с расширением .gguf нужно скопировать по пути ComfyUI/models/unet/. Не забывайте о t5xxl>clip_l>vae, но здесь ничего нового, если вы ранее пользовались Flux то вы и без меня все знаете, если нет, то полистайте мои старые статьи про Flux.
Настройка расширения в ForgeUI
Для тех кто не хочет ковыряться, устанавливать и настраивать ComfyUI есть простое решение. Уже доступно расширение в ForgeUI.
Как установить
Переходите по ссылке и копируете ссылку на репозиторий.
Запускаете ForgeUI и в интерфейсе в меню, в пункте Extensions - Install from URL в первую строку вставляете скопированную ссылку. Жмёте Install и ждете окончания загрузки и установки. После необходимо перезагрузить полностью интерфейс. При следующей загрузке среди расширений появится Forge2 Flux Kontext.
Выбираете модель в окне выбора моделей, загружаете T5>CLIP_L>VAE и все готово.
Теперь вернемся к ComfyUI и созданию и редактированию изображений.
Оговорюсь сразу, при создании изображений, чтобы ускорить процесс генерации я использовал First Block Cache, поэтому качество изображений немного хуже. Если вы терпеливы то результаты будут на порядок качественней и не такие мыльные.
Создание и редактирование изображений
- Как писать подсказки:
Положительная подсказка: Описывайте, что хотите, например, «Превратить фото в стиль масляной живописи с яркими цветами».
Всегда старайтесь быть конкретными: вместо «красивый закат» пишите «ярко-красный закат».
Используйте чёткие глаголы («поменяй», «убери»), описывайте детали, держите подсказку до 512 токенов.
Как редактировать изображение сохраняя контекст изображения. Стандартный workflow. Вводите запрос и генерируете изображение или используете ранее созданное.
Вставляете его в ноду Load image, в поле подсказки пишете то что хотите сделать с изображением, ждёте.
Полученное изображение перемещаете в ноду Load image нажав кнопку в этой ноде "Refresh", сгенерированное и измененное изображение теперь будет работать как референсное. Далее вводите следующий запрос.
Далее опять нажимаем кнопку Refresh. Пишем следующий запрос.
Вариантов действительно много. Все зависит от вашего воображения, терпения и свободного времени.
Во втором стандартном пространстве есть возможность совмещать 2 разных изображения. Загружаете его из предустановленных шаблонов. Выбираете Load Image - 1 изображение и Load Image - 2 изображение. Пишете запрос или используете уже готовый и ждёте.
Результат получился неплохим, хотя и не идеальным. Учитывая затраченное время и использование двух разных изображений, можно сказать, что работа выполнена неплохо.
Где мы сможем использовать FLUX.1 Kontext на практике.
Как мне кажется в первую очередь это электронная коммерция и маркетинг продуктов.
Как минимум можно с легкостью менять цвета практически любых товаров как я это делал с перекраской тигра.
Удаление и замена любого фона. Если вам нужен другой фон отличный от фона вашего изображения достаточно прописать на какой фон вы хотите заменить, и если вам нужен черный или белый фон просто напишите об этом. Например: «Убери загромождённый фон и поставь белый, сохранив текстуру и тени».
Управление водяными знаками, логотипами и др. Пример: «Убери водяной знак в углу и восстанови фон» или «Добавь лого с прозрачностью 30%, подогнав под освещение».
Виртуальная примерка. Опять же на примере того же тигра в полосатом купальнике вы можете переодевать любого персонажа в любую одежду, написав промпт описывающий внешность персонажа и загрузив в Load Image нужное вам платье, купальник или шляпу. Пример: «Блондинка с голубыми глазами, с чёрной сумкой через плечо, в гостиной».
Создание контента и социальные сети
Создание ИИ-персонажей. Можно создавать виртуальных инфлюенсеров с единым стилем. Например: «Сохрани черты персонажа, но смени наряд на летнее платье и поставь в кофейню».
Перенос стиля. Можно легко изменить стиль вашего изображения. Например: «Сделай фото персонажа в стиле аниме с большими глазами».
Редактирование текста и логотипов. Можно достаточно легко обновить или полностью изменить баннеры и вывески. Например: «Поменяй вывеску с "Кофейня" на "Пекарня", сохранив шрифт».
Профессиональная фотография и дизайн
Смена фона. Можно менять фон и что немаловажно легко сохраняя освещение и перспективу. Например: «Замени офисный фон на студийный градиент, сохранив освещение».
Улучшение освещения. Возможность добавлять или изменять студийный свет на фото. Например: «Поставь контурное освещение слева и заполняющий свет справа».
Восстановление фотографий. Возможность реанимировать старые или повреждённые снимки. Например: «Убери трещины, повысь чёткость и восстанови цвета».
Маркетинг и реклама
Обновление баннеров. Можно легко переделывать старые плакаты под новые кампании. Например: «Поменяй смартфон на ноутбук, сохранив фон и текст».
Раскрашивание эскизов. Запросто превращаем наброски в цветные иллюстрации. Например: «Добавь яркие краски в линейный рисунок».
Продвинутые творческие приложения
Художественные стили. Можем превращать фото в произведения искусства.
Например: «Сделай пейзаж в стиле Ван Гога с яркими мазками».
Всевозможные сложные правки. Добавлять или убирать объекты с сохранением реализма. Например: «Убери телефонные столбы из пейзажа, восстановив небо».
Методы формулирования правильных подсказок
Чтобы FLUX.1 Kontext выдавал именно то, что вы задумали, следуйте этим правилам:
Простые изменения:
«Поменяй кожаную куртку на синюю джинсовую».
Или: «Сделай погоду дождливой, сохранив стиль импрессионизма».
Перенос стиля:
«Превратить фото в стиль Укиё-э».
«Сделай акварель с мягкими краями».
«Применить поп-арт, сохранив композицию».
Сохранение персонажей:
Вместо «он» пишите: «Мужчина с седой бородой в очках».
Добавляйте: «Сохрани черты лица и выражение».
Для сложных правок делайте поэтапно: сначала фон, потом одежду.
Редактирование текста:
«Поменяй "ОТКРЫТО" на "ЗАКРЫТО"».
«Сохрани шрифт и цвет неоновой вывески».
Основные принципы при работе с FLUX.1 Kontext
- Конкретность: вместо «красивый» — «ярко-фиолетовый закат».
- Поэтапность: сложные изменения разбивайте на несколько этапов.
- Сохранение: указывайте, что конкретно оставить без изменений.
- Чёткие глаголы: «поменяй», «убери», а не «сделай всё красиво».
Устранение неполадок
Если что-то идёт не так:
- Отсутствуют узлы: Установите все узлы через ComfyUI Manager. Если после этого узлы не появятся, поищите их на GitHub. Введите название узла в поисковую строку и добавьте слово «Github». Скорее всего, первые 3–4 результата приведут вас к нужному месту. Скачайте узел в виде архива, распакуйте его и скопируйте файлы в папку ComfyUI\custom_nodes и перезагрузите сервер.
- Красные ошибки: Проверьте, загружена ли модель и корректно ли соединены между собой узлы.
- Низкое качество: Увеличьте шаги K-Sampler до 50 или уточните подсказку.
- Долгая обработка: Пробуйте модели FP8 или GGUF (чем меньше цифра в индексе тем меньше видеопамяти необходимо для работы модели).
FLUX.1 Kontext произвел на меня сильное впечатление. Я перепробовал множество инструментов, но этот оказался особенным. Он не только превосходит ChatGPT по точности, но и предоставляет полную свободу благодаря локальной установке в ComfyUI. FLUX.1 Kontext позволяет редактировать изображения с высокой точностью: можно изменить цвет сумки или превратить фото в картину Ван Гога, не теряя контекста. Всё работает на моем ПК, без необходимости подключения к внешним сервисам.
Требования к системе высоки, и для быстрой генерации требуется больше видеопамяти. Даже с 10 ГБ памяти самая сложная генерация занимает около трех минут. Ждём, что в ближайшие недели или месяцы появятся новые модели и инструменты которые помогут оптимизировать процесс и сократить время генерации.
В заключение хочу пожелать вам успехов и приглашаю поделиться своими генерациями во FLUX.1 Kontext в комментариях или в телеграмм канале!
Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.