Здравствуйте, друзья!
Время идёт, и Flux постепенно обрастает Loraми, Controlнетами и, конечно же, новыми моделями. Сегодня я хочу поделиться с вами одной из таких новинок - моделью Flux Fusion DS. Сразу отмечу: если для вас важна безукоризненная точность следования запросу, то эта модель не совсем об этом. Она более-менее адекватно реагирует на запросы, но и от себя добавляет немало - именно это меня в ней и заинтересовало.
С момента появления Flux я какое-то время тестировал стандартные модели. Они достаточно послушные, по-своему интересные, но, как мне показалось частенько генерируют скучные и тусклые изображения. Чтобы получить что-то действительно необычное, нужно тратить больше времени, которого, увы, всегда не хватает.
И вот, в очередной раз изучая новинки для Flux на Civitai.com, я наткнулся на эту модель. Решил скачать и посмотреть, на что она способна.
Flux Fusion DS - это нейросетевая модель, предназначенная для генерации высококачественных изображений, которая объединяет скорость генерации Schnell (от 4 шагов) модели и качество Dev модели. По словам автора модели, он использовал плавное слияние моделей что означает плавный и постепенный переход от характеристик одной модели к другой. "Это не простое слияние или усреднение параметров моделей, а более сложный процесс, направленный на создание практически новой модели, которая сохраняет сильные стороны обеих исходных моделей и при этом минимизирует их недостатки." По крайней мере это вся информация которая есть на страничке с моделью.
Автор представил несколько вариантов модели. Она поддерживает форматы BNB NF4, FP4, FP8, FP16 с разной точностью представления данных, где NF4 и FP4 - самые оптимизированные а FP16 - более точный, но требующий больше вычислительных ресурсов и так же представлено несколько вариантов квантования GGUF Q4, Q5, Q8. Квантование - это процесс оптимизации нейросетевых моделей, который позволяет уменьшить количество ресурсов, необходимых для их работы, без значительных потерь в качестве. Для этого используются методы, которые снижают точность вычислений в модели (например, уменьшение количества битов, используемых для представления данных), но делают это таким образом, чтобы качество выходных изображений практически не пострадало. Чем выше цифра (например, Q8), тем больше точность, но и больше ресурсов требуется.
Доступна модель как в версии UNET - это версия, которая содержит только компонент для генерации изображений, без других дополнительных модулей, а также в формате "всё в одном" AIO (All-In-One) - это "полный комплект", включающий в себя все компоненты: UNET- это основной модуль, который отвечает за сам процесс создания изображения, VAE (Variational Autoencoder) - модуль, который помогает декодировать сгенерированные изображения и улучшает их качество и CLIP - модель, которая обрабатывает текстовые данные и помогает связать их с изображениями.
Рекомендованное количество шагов для рендеринга изображений варьируется от 4 до 8, где более высокие значения (по утверждению автора) дают более фотореалистичные результаты, а низкие - помогают создавать более художественные изображения. Но по своим наблюдениям я пришел к выводу, что это не совсем так и 8 шагов иногда бывает мало и изображение может "посыпаться", в этих случаях можно просто поднять значение на пару шагов и так пока не добьетесь нужного результата.
Если вы используете ForgeUI или Stable SwarmUI, вам нужно загрузить AIO-модели. А если вы предпочитаете ComfyUI, вы можете загрузить любую версию, так как готовые рабочие процессы доступны уже для всех версий.
Если вы уже используете ComfyUI, но всё ещё испытываете затруднения с пониманием, как всё работает, вы можете скачать готовые workflow UNET и AIO с моего бусти.
Одна из ключевых особенностей Flux Fusion DS — это то, что автор создал модели практически для любой конфигурации. За исключением, пожалуй, калькуляторов.
Вам остается только выбрать нужную или подходящую модель, скачать её и скопировать в вашу папку с моделями. Для UNET модели не забудьте скачать clip и vae, ссылки на которые вы сможете найти в моих предыдущих статьях про Flux.
Ну а если вам лень качать модель или у вас с интернетом беда, то вот немного примеров изображений, сгенерированных с использованием модели Flux_Dev BnB NF4 V2 и модели Flux Fusion DS. Результаты порой радуют а порой пугают своей непредсказуемостью.
Пользоваться этой моделью или нет — решать, конечно же, вам. Я выскажу своё субъективное мнение.
Модель Flux Fusion DS — интересная, хотя и не идеальная. Она генерирует достаточно интересные, насыщенные атмосферой изображения, причём делает это быстро, что в условиях высоких требований к "железу" при использовании стандартных моделей Flux делает её отличной альтернативой. Благодаря квантованию и поддержке различных форматов модель можно использовать как на мощных компьютерах, так и на системах с низким объёмом видеопамяти.
Независимо от того, хотите ли вы создать фотореалистичное изображение или художественную картину, Flux Fusion DS справится с этой задачей, как мне кажется вполне себе неплохо.
Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.