Здравствуйте, дорогие друзья!
Если вы только начинаете знакомство с генеративными нейросетями и не знаете, где скачать, как установить, как работать в Fooocus, с чего начать создание изображений, то более подробная информация доступна по этой ссылке.
Сегодня же давайте рассмотрим очередное обновление Fooocus до версии 2.4.3. Согласно информации в интернете и на странице разработчика, теперь проект Fooocus будет развиваться и поддерживаться Mashb1t — автором одного из известных ответвлений (форков).
Это даёт надежду на более частые обновления, и, возможно, Fooocus сможет достичь уровня своего «родителя» Stable Diffusion по функциональным возможностям.
Самостоятельно Вы можете ознакомиться с changelog по этой ссылке, я же постараюсь разобрать важные изменения и исправления в этом обновлении.
Хочу обратить ваше внимание, что вам не нужно ничего устанавливать или загружать вручную. Просто запустите привычный файл run.bat и подождите, пока программа обновится автоматически.
Визуальные изменения минимальны, но они призваны сделать интерфейс более удобным и не перегруженным. Теперь пункты «Preset» и «Aspect ratio» не привлекают к себе слишком много внимания и не занимают большую часть экрана. Я считаю, что это отличное решение, которое стоило реализовать с самого начала.
В этом обновлении добавлены:
- Поддержка загрузки файлов с Hugging Face с зеркального сайта: Помимо основного источника загрузки расширений и моделей, необходимых для работы, теперь доступен резервный источник.
- Обновлен interposer с v3.1 до v4.0: Модуль для генерации изображений, который позволяет вам создавать новые изображения, смешивая два существующих изображения. Он работает путем плавного перехода между скрытыми представлениями (латентными векторами) исходных изображений, создавая новые латентные векторы, которые представляют собой комбинацию обоих. Эти новые латентные векторы затем используются для генерации новых изображений, которые сочетают в себе характеристики исходных изображений.
Проще говоря, Interposer позволяет вам создавать новые изображения, которые выглядят как микс двух других изображений.
- Добавление кнопки для повторного подключения пользовательского интерфейса без перезагрузки страницы: Иногда возникают проблемы при работе Fooocus. Ранее нам приходилось перезагружать страницу, чтобы восстановить соединение. Теперь добавлена кнопка для быстрого повторного подключения пользовательского интерфейса без необходимости перезагрузки, что экономит время и наши с вами нервные клетки.
- Добавление дополнительного выбора модели VAE: VAE (вариационные автоэнкодеры) используются для создания начального шума, который затем преобразуется в изображение. Теперь наконец у нас появилась возможность подключать VAE модели, что дает нам больше контроля над стилем и качеством генерируемых изображений.
Загрузить дополнительные модели VAE можно по ссылке, указав в строке поиска «VAE». После скачивания помещаем модели в папку с вашими VAE, если вы пользуетесь HardLink или другим методом и храните все модели в одном месте, если нет, то модели необходимо перенести по пути:
ваш диск\ваша папка Fooocus\models\vae\
Чтобы выбрать модель, необходимо перейти в раздел «Advanced» — «Developer debug mode» — «Debug tools» — «VAE» .
Примеры изображений, созданных с использованием различных моделей VAE:
- Выбор случайного стиля: Эта функция генерирует случайный набор стилей для создания уникальных и неожиданных изображений.
- Обновление аниме с animaPencilXL_v100 до animaPencilXL_v310: Модель по умолчанию для создания аниме-изображений была обновлена.
Исправления:
- Исправление ошибки в CSS-свойстве border-radius: Это исправление устраняет ошибку в отображении элементов пользовательского интерфейса.
- Удаление закрывающего тега meta в заголовке HTML: Это исправление устраняет потенциальную ошибку отображения, которая могла возникать в некоторых браузерах.
Улучшения пользовательского интерфейса:
- Переименование метки для кнопки повторного подключения: Метка кнопки "Reconnect and Reset UI" была изменена на "Reconnect", чтобы более точно отразить ее функцию.
- Автоматическое добавление полного исходного запроса в журнал истории: Теперь при генерации изображения полный исходный запрос (включая prompt, settings, and seeds) автоматически добавляется в журнал истории. Это позволяет нам легко просматривать и повторно использовать предыдущие запросы, экономя время.
- Автоматическое описание изображения при загрузке изображения UOV: При загрузке изображения с помощью функции загрузки изображения UOV, нейросеть теперь автоматически генерирует описание изображения. Для включения этой функции необходимо прописать в bat файл аргумент запуска:
--enable-describe-uov-image
Загружаем нужное изображение, и Fooocus, немного поразмыслив, сообщит нам, что он увидел на этой картинке.
Иногда функция не работает, если окно с запросом занято другим.
- Цензура изображений с возрастными ограничениями: Теперь у нас есть возможность блокировать изображения с возрастными ограничениями. Для этого в пользовательском интерфейсе есть специальный флажок. Это позволяет скрывать изображения с откровенным контентом от любопытных детских глаз :)
Чтобы выбрать режим, необходимо перейти в раздел «Advanced» — «Developer debug mode» — «Debug tools».
- Добавление планировщика Align your Steps: Align your Steps - это планировщик, используемый для генерации изображений. Он добавлен в качестве дополнительного варианта к существующим планировщикам.
Планировщик Align your Steps, это инструмент, который организует процесс генерации изображений поэтапно. Этот планировщик постепенно уточняет изображение на каждом этапе, выравнивая промежуточные результаты с исходным запросом или целевым изображением. Он может использоваться для задач, требующих высокой точности и контроля, таких как стилизация изображений с сохранением деталей, перенос стиля или создание изображений с реалистичными текстурами.
Чтобы выбрать режим, необходимо перейти в раздел «Advanced» — «Developer debug mode» — «Debug tools»
- Добавление семплера TCD и планировщика дискретного дистиллированного TCD на основе sgm_uniform (также известного как lcm): Это специальные инструменты, которые помогают нейросети создавать более красивые и детализированные изображения.
Как они работают?
Семплер TCD разбивает изображение на маленькие части и улучшает их одну за другой. Планировщик дискретного дистиллированного TCD на основе sgm_uniform определяет, какую часть изображения нужно улучшить следующей, чтобы изображение выглядело сбалансированным.
Как заставить его работать?! Для начала скачайте и включите вот эту Loras, далее в Debug Menu, в Debug Tools выставляем:
CFG Mimicking from TSNR - 1,
Sampler - TCD,
Scheduler - sgm_uniform,
Forced Overwrite of Sampling Step - 6,
Guidance scale - 1.5,
Image Sharpness - настраивать под свои предпочтения, у меня это значения от 5 до 10
Возможно есть более оптимальные значения для соотношения качество-скорость, у меня было мало времени на эксперименты, но вы можете экспериментировать и если найдете более интересные варианты, то буду благодарен если вы ими поделитесь в комментариях. Субъективно, но мне кажется режим Hyper SD работает быстрее при лучшем качестве изображения затратив такое же количество времени на генерацию.
- Добавление производительного Hyper SD на основе 4-ступенчатого LoRA: Гипер-СД с 4-шаговым LoRA - это новый планировщик, который улучшает производительность и качество сгенерированных изображений. Он особенно подходит для генерации изображений на менее производительных системах без потери качества изображения. Режим работает с большинством существующих моделей и в тестах показывает себя достаточно неплохо.
- Улучшение оптимизации модели для цензурирования изображений с возрастными ограничениями: улучшена оптимизация управления моделями для цензурирования изображений с контентом для взрослых (NSFW — Not Safe For Work): Улучшена точность, нейросеть должна лучше распознавать NSFW-контент, что уменьшает количество ложных срабатываний и пропусков. Система способна быстрее обрабатывать изображения и применять цензуру, что важно для обработки больших объемов данных в реальном времени. Это помогает более точно и эффективно блокировать нежелательный контент.
- Улучшение прогресс-бара: Прогресс-бар был улучшен для отображения более подробной и точной информации о ходе генерации изображения.
- Оптимизация inline LoRA: Inline LoRA - это функция, позволяющая нам вставлять используемые лоры прямо в окно подсказки.
- Изменение владельца кода с @lllyasviel на @mashb1t: Это изменение означает, что ответственность за код переходит к новому владельцу. Я очень надеюсь, что @mashb1t сможет продолжит успешно развивать и улучшать Fooocus.
- Использование только действительных inline-Lora, добавление поддержки подпапок: Это улучшение обеспечивает использование только действительных inline-Lora при создании изображения. Кроме того, появилась поддержка подпапок, которая позволяет нам структурировать свои inline-Lora более организованно и удобно.
- Чтение размера и соотношения изображения и предоставление рекомендованного размера: Нейросеть теперь читает размер и соотношение загружаемого изображения и предоставляет рекомендованный размер для наилучших результатов генерации. Это поможет нам выбирать оптимальные размеры изображений, что зачастую экономит время и приводит к улучшению качества сгенерированных изображений.
- Настройка значения "Имитация CFG из TSNR" в предустановках: Это улучшение позволяет нам настраивать значение "Имитация CFG из TSNR" в предустановках. Настройка контролирует, насколько сгенерированное изображение имитирует стиль заданного изображения. Можно настраивать это значение так, чтобы максимально добиться желаемого уровня имитации.
- Добавление инструмента выбора цвета кисти для заливки: Инструмент выбора цвета кисти для заливки позволяет выбирать цвет кисти для заливки областей загруженного изображения.
Вы сможете выбрать этот режим, перейдя в раздел «Advanced» — «Developer debug mode» — «Inpaint».
- Удаление меток из большинства полей ввода изображений: Метки по типу "перенесите или загрузите сюда своё изображение" наконец-то были удалены из большинства полей ввода изображений для упрощения и улучшения пользовательского интерфейса. Думаю многим эти метки с подсказками очень сильно мешали при работе в Inpaint.
- Обработка Clip Skip: Это исправление добавляет возможность регулировки параметра.
Зачастую авторы моделей указывают этот параметр как обязательный при использовании их моделей. Для многих пользователей Fooocus это создавало определённые трудности, поскольку у нас не было возможности отрегулировать Clip Skip. Однако теперь такая возможность появилась.
Вы сможете выбрать этот режим, перейдя в раздел «Advanced» — «Developer debug mode» — «Debug tools».
Значение выключено - 1. По умолчанию всегда - 2.
Clip Skip - это техника, используемая в генеративных нейросетях для улучшения качества сгенерированных изображений.
Как работает Clip Skip:
Инициализация: нейросеть начинает с инициализации случайного шума или загруженного изображения.
Генерация шагов: нейросеть генерирует последовательность изображений, постепенно уточняя изображение на каждом шаге.
Выборка шагов: вместо того чтобы использовать все сгенерированные шаги для создания окончательного изображения, Clip Skip выбирает только определенные шаги. Обычно выбираются шаги, которые показывают значительные улучшения или содержат важные детали.
Комбинирование выбранных шагов: выбранные шаги объединяются в окончательное изображение с использованием методов, таких как взвешенное усреднение или деформация.
Пропуск промежуточных шагов позволяет нейросети сосредоточиться на наиболее важных изменениях в изображении, избегая ненужных деталей или шума. Это приводит к более четким и реалистичным результатам.
На этом всё. Ждём новых обновлений, теперь уже от Mashb1t и надеемся, что они не заставят себя долго ждать.
Если эта информация оказалась полезной, ставьте лайки, подписывайтесь на канал, и конечно же, оставляйте комментарии.
Ну и приходите ко мне в телеграмм-канал и группу "ВКонтакте".