Инпейнт в нейросетя - это процесс замены фрагмента исходного изображения путем его перегенерации. Покажу вам очень простую схему такого инпейнта на модели Flux.
На своем канале я делюсь с вами различными техниками работы с нейросетями. Это очередной урок про приемы работы с суперпопулярной на сегодня моделью Flux. Используем полностью бесплатную программу ComfyUI
В чем заключается основная идея процесса инпейнта? Вы берете исходное изображение и выделяете тот фрагмент, который хотите заменить. При этом формируется специальная маска, которая открывает для генерации только выделенную вами область. Затем вы пишете промт и выполняете генерацию. При этом выбранный вами фрагмент перегенерируется заново, и на его месте появляется новое изображение.
Эта замена может быть как небольшой, так и очень значительной. Т.е. вы можете изменить цвет одежды персонажа, например. А можете вместо пары кустов в лесу нарисовать волшебный замок.
И как вы понимаете, ключевая задача качественного инпейнта таким образом вписать это новое изменение в существующее изображение, чтобы не было никаких заплаток, а картинка в целом выглядела единой и цельной. Для решения вот этой задачи и применяются специальные приемы и специальные модели.
Или, например, поменять котика на лисенка.
У меня на канале есть видео урок с примерами инпейнта и особенностями разных приемов для разных моделей Stable Diffusion.
Но сейчас мы рассмотрим применение техники инпейнта для модели Flux. Схема, которую я хочу показать в этом уроке, очень простая. Строится она элементарно и подходит для новичков, которые не очень хотят заморачиваться всякими нюансами.
Итак, приступим.
Прежде всего, нам понадобятся модели. При работе с Fkux специально для операций инпейнта разработана отдельная модель Fluх Fill.
Я надеюсь, что вы уже знакомы с основами подключения модели Flux в схемы ComfyUI. Если нет, советую вначале посмотреть урок на эту тему.
Есть разные варианты модели Flux Fill. Я предпочитаю использовать квантизованные модели (GGUF). Поэтому и схему привожу в варианте для таких моделей.
Вот сама схема. Как видите, она очень-очень простая.
Здесь использовано всего одно дополнительное расширение - Flux-Inoainting. Саму схему я выложу в своем Телеграм-канале. Для работы достаточно открыть эту схему в ComfyUI и установить недостающее расширение через Менеджер. Для этого открываем Менеджер и выбираем Install Missing Custom Node. В списке будет расширение, которое нужно установить (жмем Install)
Затем необходимо проверить, правильно ли указаны модели в схеме (у вас они могут находиться по другим путям, поэтому внимательно прокликайте все узлы для выбора нужных моделей).
Какие модели нужны, ссылки на скачивание и в какие папки разместить - все явки-пароли, как обычно, в моем Телеграм-канале - вот здесь
Затем загружаем исходную картинку в узел Load Image, кликаем правой кнопкой, выбираем Open in Mask Editor и выделяем ту область, которую собираемся заменять. В моем примере надо закрасить котика.
В узле ввода промта пишем, на что будем заменять. Я написала очень простой промт - a cute fox. Пусть будет лисенок.
Как видите, в этой схеме практически весь функционал «зашит» в один узел. Возможностей гибко поэкспериментировать, что-то добавить свое дополнительно и т.д. здесь просто нет. Но зато она очень простая, с минимумом настроек.
Запускаем на генерацию. Готово!
Всех приглашаю на свой Телеграм-канал, приходите, подписывайтесь.