Тёмная лошадка Fooocus. Зачем SDXL Offset Example Lora?

Что же за LoRA в начальных настройках Fooocus? Ответ довольно прост.

Базовая модель SDXL 1.0 имеет некоторые проблемы с контрастностью и насыщенностью цветов. Однако, существует решение этой проблемы — SDXL Offset Example Lora. Эта лора усиливает контраст между самыми яркими и самыми тёмными участками изображения. Она особенно полезна при создании тёмных сцен или изображений в ночное время. Выбор уровня лоры может влиять на контрастность и общее качество изображения. Низкий уровень лоры улучшает контрастность, а более высокий помогает достичь идеального чёрного цвета.

По крайней мере, так говорят в интернете. Я же провёл собственные тесты на нескольких моделях и использовал два совершенно разных запроса по количеству чёрного и белого цвета.

Не могу сказать, что эти тесты дают полное представление о преимуществах и недостатках SDXL Offset Example Lora, но они помогают лучше понять некоторые важные аспекты при её использовании.

sd_xl_base_1.0_0.9vae

1 Тест SDXL Offset Example Lora с белым цветом на модели sd_xl_base_1.0_0.9vae

{"prompt": "absolutely monochrome darked man portrait faded in dark, dark fog, deep black, clear black design, black on black background, black tones, maximum black", "negative_prompt": "(colorful:1.5), (white:1.5), (gray:1.5), glitter, (highlights:1.5), grayscale, medium gray, light gray, sepia, gray background, lowres, grain, white detail, text, lables, color background, white background, reflection, light edges", "prompt_expansion": "", "styles": "", "performance": "Speed", "steps": 30, "resolution": "(896, 1152)", "guidance_scale": 7, "sharpness": 2, "adm_guidance": "(1.5, 0.8, 0.3)", "base_model": "sd_xl_base_1.0_0.9vae.safetensors", "refiner_model": "None", "refiner_switch": 0.75, "clip_skip": 2, "sampler": "dpmpp_2m_sde_gpu", "scheduler": "karras", "vae": "Default (model)", "seed": "7941860524998829808", "lora_combined_1": "sd_xl_offset_example-lora_1.0.safetensors : 1.0", "metadata_scheme": "a1111", "version": "Fooocus v2.5.2"}

2 Тест SDXL Offset Example Lora с белым цветом на модели sd_xl_base_1.0_0.9vae

{"prompt": "absolutely monochrome white woman faded in white, white fog, white faded, pale white, clear white design, pale skin, white on white, white tones, maximum white", "negative_prompt": "(colorful:1.5), (black:1.5), (gray:1.5), deep shadow, grayscale, dirty picture, medium gray, dark gray, sepia, gray background, lowres, grain, black detail, text, lables, color background", "prompt_expansion": "", "styles": "", "performance": "Speed", "steps": 30, "resolution": "(896, 1152)", "guidance_scale": 7, "sharpness": 2, "adm_guidance": "(1.5, 0.8, 0.3)", "base_model": "sd_xl_base_1.0_0.9vae.safetensors", "refiner_model": "None", "refiner_switch": 0.75, "clip_skip": 2, "sampler": "dpmpp_2m_sde_gpu", "scheduler": "karras", "vae": "Default (model)", "seed": "8800851620229144354", "lora_combined_1": "sd_xl_offset_example-lora_1.0.safetensors : 1.0", "metadata_scheme": "a1111", "version": "Fooocus v2.5.2"}

Первое, что заметно, — это не контрастность, а изменение формы объектов. Обратите внимание на результаты, полученные с большим влиянием LoRA. Фон стал практически полностью чёрным и белым в соответствующих запросах.

Кстати, при большом весе с этими настройками SDXL Offset Example Lora очень напоминает LoRA SDXL_White_Sa_May

С базовой моделью изначальные утверждения оказались верны. Давайте проверим на другом чекпоинте.

juggernautXL_v8Rundiffusion

3 Тест SDXL Offset Example Lora с чёрным цветом на модели juggernautXL_v8Rundiffusion

{"prompt": "absolutely monochrome darked little kitty with big indigo eyes faded in dark, dark fog, deep black, clear black design, black on black background, black tones, maximum black", "negative_prompt": "(colorful:1.5), (white:1.5), (gray:1.5), glitter, (highlights:1.5), grayscale, medium gray, light gray, sepia, gray background, lowres, grain, white detail, text, lables, color background, white background, reflection, light edges", "prompt_expansion": "", "styles": "", "performance": "Speed", "steps": 30, "resolution": "(896, 1152)", "guidance_scale": 4, "sharpness": 2, "adm_guidance": "(1.5, 0.8, 0.3)", "base_model": "juggernautXL_v8Rundiffusion.safetensors", "refiner_model": "None", "refiner_switch": 0.5, "clip_skip": 2, "sampler": "dpmpp_2m_sde_gpu", "scheduler": "karras", "vae": "Default (model)", "seed": "6221328683125834451", "lora_combined_1": "sd_xl_offset_example-lora_1.0.safetensors : 0.1", "metadata_scheme": "a1111", "version": "Fooocus v2.5.2"}

4 Тест SDXL Offset Example Lora с белым цветом на модели juggernautXL_v8Rundiffusion

{"prompt": "absolutely monochrome white dog faded in white, white fog, white faded, pale white, clear white design, pale skin, white on white, white tones, maximum white", "negative_prompt": "(colorful:1.5), (black:1.5), (gray:1.5), deep shadow, grayscale, dirty picture, medium gray, dark gray, sepia, gray background, lowres, grain, black detail, text, lables, color background", "prompt_expansion": "", "styles": "", "performance": "Speed", "steps": 30, "resolution": "(896, 1152)", "guidance_scale": 4, "sharpness": 2, "adm_guidance": "(1.5, 0.8, 0.3)", "base_model": "juggernautXL_v8Rundiffusion.safetensors", "refiner_model": "None", "refiner_switch": 0.5, "clip_skip": 2, "sampler": "dpmpp_2m_sde_gpu", "scheduler": "karras", "vae": "Default (model)", "seed": "9173207848036614013", "lora_combined_1": "sd_xl_offset_example-lora_1.0.safetensors : 0.9", "metadata_scheme": "a1111", "version": "Fooocus v2.5.2"}

В тёмной теме LoRA добавила света, то есть выделила чёрные объекты за счёт контрастности. Также убрала оттенки синего с чёрного цвета, сделав его пепельным. Незначительное увеличение веса LoRA положительно повлияло на глубину чёрного цвета.

В светлой теме, наоборот, добавила тёмных оттенков. В обоих случаях с увеличением веса LoRA добавляет больше цветных оттенков.

Возможно, я продолжу тестирование с другими моделями, но пока хотелось бы поделиться промежуточными выводами.

Использование SDXL Offset Example LoRA оказывает значительное влияние на результат — изменяет контраст и глубину изображения, а также форму объектов. При изменении веса следует учитывать, что изменённое изображение будет существенно отличаться от оригинала.

Я рекомендую тестировать чекпоинты, отключая данную LoRA, дабы исключить её влияние на конечный результат.

Если у вас есть какие-либо мысли или идеи по поводу SDXL Offset Example, пожалуйста, поделитесь ими в комментариях.

Как настраивать вес LoRA в Fooocus вы можете прочитать в небольшой заметке 👇

P.S. Недавно я сравнивал результаты работы Midjourney и Fooocus. Хотя я и не ставил перед собой цели добиться идентичных результатов при одинаковых запросах, всё же можно заметить, что результаты генерации существенно отличаются друг от друга. 👇👇👇

Чтобы добиться схожих результатов с Midjourney, рекомендую использовать SDXL Offset Example LoRA для работы с контрастностью.