Здравствуйте! Сегодня мы рассмотрим использование FreeU и его воздействие на генерацию изображений в Fooocus.
Что такое FreeU?
Если говорить кратко, то это метод обработки информации, который можно назвать рефайнером, так как он улучшает качество генерации без дополнительного обучения или тонкой настройки.
Метод FreeU был разработан Ченьянг Си. При работе этот метод модифицирует предиктор шума, изменяя связи U-Net, что позволяет улучшить глобальную композицию изображения и добавить дополнительные детали. Для этого используются всего два параметра: "основные признаки -B" и "пропускающие признаки - S".
Эффект шумового предиктора U-Net влияет на распространение сигнала через слои основы пошагово, контролируя глобальную композицию изображения, а также через пропускающие соединения, добавляя дополнительные детали. FreeU модифицирует связи в U-Net, вводя масштабирующие факторы, которые контролируют распространение сигнала через пропускающие соединения, улучшая качество изображений.
Использование FreeU позволяет создавать изображения с более высоким качеством. Они становятся более четкими, контрастными и насыщенными, что особенно заметно при использовании моделей Anime и реалистичных моделей. FreeU делает изображения более качественными и когерентными.
Улучшение процесса генерации изображений с помощью этого метода в Fooocus ничем не отличается от использования его в Stable Diffusion, за исключением того, что в Fooocus он уже встроен и не требует установки как расширение.
Начало работы
Если вы используете русифицированную версию Fooocus, то включить этот режим можно, пройдя в расширенные настройки: расширенные настройки - режим отладки разработчика - FreeU.
Русификатор для Fooocus с руководством по запуску вы можете скачать здесь.
Для английской версии: advanced-advanced settings-developer debug mode-freeU
Для генерации я использовал модель jibMixRealisticXL_v90BetterBodies, все улучшения и лоры отключены, разрешение 1152х896, режим качество 60 шагов.
Давайте начнем с назначения параметров. За что они отвечают и как работают.
B1 и B2
Коэффициенты масштабирования b1 и b2 отвечают за уровень внимания, уделяемого основным характеристикам изображения, таким как контуры, текстуры и общая структура. Влияние высоких и низких значений этих коэффициентов на генерируемое изображение можно описать следующим образом:
- Высокие значения (например, b1: 1.4, b2: 1.6): При использовании высоких значений коэффициентов b1 и b2 модель будет акцентировать внимание на деталях изображения и подробностях, таких как текстуры, контуры и структура объектов на изображении. Это может привести к более четким и детализированным изображениям, где мельчайшие особенности будут более выражены.
- Низкие значения (например, b1: 0.5, b2: 0.7): При использовании низких значений коэффициентов b1 и b2 модель будет уделять меньше внимания деталям и больше фокусироваться на общей структуре и форме объектов на изображении. Это может привести к более размытым и менее детализированным изображениям, где общие формы могут быть более выражены, но детали могут быть менее четкими.
Таким образом, высокие значения коэффициентов b1 и b2 способствуют генерации изображений с большим количеством деталей и текстур, в то время как низкие значения делают изображения более абстрактными и менее детализированными, но с более ярко выраженными общими формами.
S1 и S2
Коэффициенты масштабирования s1 и s2 отвечают за уровень влияния связей пропуска на генерируемое изображение. Связи пропуска передают информацию между различными слоями модели, что помогает сохранить контекст изображения и улучшить качество генерации. Вот как высокие и низкие значения s1 и s2 влияют на процесс генерации:
- Высокие значения (например, s1: 0.9, s2: 0.8): При использовании высоких значений коэффициентов s1 и s2 модель будет активно учитывать информацию, передаваемую через связи пропуска. Это приведет к тому, что контекст и дополнительные детали изображения будут более точно сохранены. В результате генерируемые изображения будут иметь более гладкие переходы и лучшую связность между различными частями изображения.
- Низкие значения (например, s1: 0.3, s2: 0.1): При использовании низких значений коэффициентов s1 и s2 модель будет менее учитывать информацию, передаваемую через связи пропуска. Это может привести к потере некоторых деталей и контекста изображения. Генерируемые изображения могут иметь более резкие переходы между различными областями и менее гладкую структуру.
Таким образом, высокие значения коэффициентов s1 и s2 способствуют сохранению дополнительной информации и контекста, что может быть полезно при генерации сложных изображений. С другой стороны, низкие значения делают модель менее зависимой от информации, передаваемой через связи пропуска, что может быть полезно в случае, если необходимо создать более абстрактные изображения.
Ниже приведены влияние значений B1 и B2
Ниже приведены влияние значений S1 и S2
B1: 1.1 - B2: 1.2 - S1: 0.6 - S2: 0.4
B1: 0.9 - B2: 0.8 - S1: 0.9 - S2: 0.3
B1: 1.3 - B2: 1.3 - S1: 0.9 - S2: 0.9
После тестирования, я могу с уверенностью сказать, что не существует конкретных или правильных значений. Слишком много переменных могут кардинально повлиять на окончательный результат. Большое влияние оказывает используемая модель, лора или какой то определенный пресет.
Да, FreeU значительно улучшает качество изображения, но для достижения определенного результата может потребоваться много времени на перебор моделей, которая вам подойдет.
Я продолжу изучать эту тему и, если вдруг найду еще что-то интересное, конечно же, поделюсь с вами.
На этом все. Спасибо за внимание и до новых встреч.
Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.
