Здравствуйте, друзья!
Недавно появилась интересная и перспективная нейросетевая модель для создания изображений — Flux. Она привлекла огромное внимание, обойдя Stable Diffusion 3 (SD3) и приблизившись по возможностям к популярному Midjourney. Поскольку доступных ресурсов и моделей пока ещё не так много, я решил поделиться с вами ссылками, которые мне удалось найти.
Официальные ресурсы Black Forest Labs
Начнём, конечно, с упоминания официальных ресурсов Black Forest Labs, разработчиков Flux:
- black-forest-labs / flux — это репозиторий на GitHub, где собрана основная информация о модели. Здесь вы найдёте описание локальной установки, стандартные модели, представленные самой Black Forest Labs, а также множество других технических деталей.
- Black Forest Labs — официальный сайт компании, где также можно найти много полезной информации о проекте и его разработках.
- FLUX.1-dev — официальный репозиторий моделей на Hugging Face. Здесь можно скачать DEV версию Flux, которая предназначена для разработчиков и тестирования новых функций.
- FLUX.1-schnell — ещё один репозиторий на Hugging Face, где доступна SCHNELL версия модели, оптимизированная для быстрого создания изображений.
Популярные платформы для пользовательских моделей
Также нельзя не упомянуть один из самых популярных ресурсов для генерации изображений — Civitai.com. На этом сайте вы можете найти множество моделей FLUX и LoRA. Обязательно используйте фильтры для поиска моделей, так как их количество стремительно увеличивается. Хотя на данный момент действительно качественных моделей не так много, с каждым днём появляются новые работы, и можно ожидать значительного роста качественного контента.
Кастомизированные модели, LoRA, ControlNet и др.
Теперь несколько слов о кастомизированных моделях, LoRA, ControlNet и других инструментах для улучшения и тонкой настройки работы моделей. Я не буду подробно описывать каждую модель или работы авторов, поскольку это заняло бы слишком много времени. Вы сможете ознакомиться с ними самостоятельно и выбрать то, что подходит именно вам. Однако, я представляю ниже список авторов и ресурсов, которые, по моему мнению, заслуживают внимания:
Большинство этих ресурсов можно найти на платформе Hugging Face. Если вы умеете пользоваться поиском, вы легко найдёте нужную информацию. Для тех, кто не хочет тратить время на поиск, я составил список наиболее полезных ссылок и авторов.
Авторы, чьи работы стоит изучить:
lllyasviel
Автор широко известен благодаря проекту ControlNet, который позволяет значительно улучшить контроль над генерацией изображений с помощью нейронных сетей и обработки данных. Его работа оказала большое влияние на развитие контролируемых сетей в генеративных моделях.
silveroxides
Silveroxides разрабатывает модели для синтеза изображений и улучшения их качества, уделяя внимание анимационным и реалистичным стилям.
InstantX
Этот автор известен созданием настраиваемых моделей для ControlNet и других связанных технологий, предлагая высокоэффективные и настраиваемые решения для визуализации.
XLabs-AI
XLabs-AI специализируется на создании моделей для улучшения изображений, их доработки и обучении по различным подходам генерации, включая ControlNet и Loras.
duuuuuuuden
Работает с различными моделями, экспериментируя с их комбинациями и квантованием для ускорения генерации изображений
comfyanonymous
Автор хорошо известен своими интеграциями с ComfyUI, а также созданием удобных для использования рабочих процессов генерации изображений. Работы comfyanonymous особенно ценны для пользователей ComfyUI.
Kijai
Kijai создаёт уникальные модели, ориентированные на специфичные художественные стили и их адаптацию для Flux. Его работы отличаются креативным подходом к генерации изображений с помощью кастомизированных LoRA моделей.
Anibaaal
Anibaaal фокусируется на слиянии моделей для повышения производительности и создания уникальных стилей. Его работа по объединению различных моделей для Flux помогает улучшать качество изображений, особенно в квантованных версиях.
sayakpaul
Sayakpaul активно работает над созданием квантованных моделей для ускоренной и оптимизированной генерации изображений.
city96
Специалист в области квантованных моделей, с сильной ориентацией на сжатие и оптимизацию нейронных сетей..
multimodalart
Multimodalart работает над интеграцией различных модальностей в искусстве, включая текст и изображение для создания уникальных визуальных результатов.
alvdansen
Разработчик, создающий уникальные LoRA модели, которые нацелены на создание изображений в специфических художественных стилях. Работы alvdansen часто включают аниме и стили с элементами реализма.
jbilcke-hf
Разработчик, сосредоточенный на интеграциях с Hugging Face и создании полезных моделей для различных сценариев использования Flux, от иллюстраций до научных приложений.
linoyts
Создатель моделей для генерации художественных изображений в стиле "artsy", уделяя внимание деталям и художественным нюансам.
merve
Merve создает стилизованные модели с уникальными элементами стилизации и реализма, подходящие для различных творческих проектов.
VideoAditor
Работает с генерацией видео и синтеза изображений в движении, интегрируя нейронные сети в видеопроизводство.
SebastianBodza
Этот автор специализируется на создании LoRA моделей и разработке специализированных моделей для высококачественной генерации изображений.
В большинстве случаев информация, которую вы увидите ниже, уже будет для вас неактуальна. Вы сможете найти практически всё необходимое на страницах авторов, представленных в списке выше.
Модифицированные и объединённые модели:
- sayakpaul / FLUX.1-объединённая DEV и SCHNELL модели
- Anibaaal/Flux-Fusion-DS-merge-gguf-nf4-fp4-fp8-fp16/tree/main — репозиторий с объединённой версией моделей для улучшенной производительности.
Модели ControlNet:
- XLabs-AI / flux-controlnet-collection — коллекция контрольных точек ControlNet для модели FLUX.1-dev.
- XLabs-AI / flux-controlnet-canny — обученная модель ControlNet Canny для FLUX.1-dev, позволяющая обрабатывать изображения с использованием этого метода.
- InstantX / FLUX.1-dev-Controlnet-Canny — ещё одна модель ControlNet, обученная для работы с Canny на версии FLUX.1-dev.
LoRA:
- XLabs-AI / flux-RealismLora — LoRA модель для создания реалистичных изображений.
- alvdansen / frosting_lane_flux — кастомная модель для работы с FLUX, нацеленная на специфичные стили.
- Norod78 / Flux_1_Dev_LoRA_Paper-Cutout-Style — модель для создания изображений в стиле вырезок из бумаги.
- multimodalart / flux-tarot-v1 — модель для создания изображений в стиле Таро.
Квантованные модели:
- cocktailpeanut / flux1-merged-q8 — ещё одна квантованная версия FLUX, оптимизированная для использования в средах с ограниченными ресурсами.
API базовых моделей:
Если вам нужно быстро использовать FLUX через API, вот доступные платформы для каждой версии:
- FLUX dev: доступен через Replicate, FAL, Mystic.
- FLUX schnell: доступен через Replicate, FAL, Mystic.
Самостоятельное обучение LoRA:
Для тех, кто хочет обучать свои модели, есть несколько полезных ресурсов:
- Train on Google Colab — вариант обучения на Colab.
- Train on Replicate — вариант обучения на платформе Replicate.
DreamBooth демонстрация:
Проекты сообщества:
- XLabs-AI / x-flux — обучающие скрипты для использования модели FLUX от Black Forest Labs.
- fairy-root / Flux-Prompt-Generator — узел для генерации креативных подсказок для моделей FLUX.
Демонстрации и генераторы:
- FLUX.1-schnell — официальная демонстрация на Hugging Face с 12B параметров для быстрой генерации изображений.
- FLUX.1-dev — ещё одна официальная демонстрация модели с 12B параметров.
- Генератор подсказок FLUX — возможность генерировать длинные и подробные подсказки для улучшения ваших запросов.
- Генератор изображений Flux RealismLora — инструмент для создания реалистичных изображений с помощью LoRA.
- Flux Inpaint - демонстрация работы режима во Flux.
Полезные энкодеры:
Эти энкодеры можно использовать для улучшения работы ваших моделей и оптимизации текстовых запросов.
В процессе поисков я буду стараться дополнять статью ссылками на полезные ресурсы. Вам же желаю красивых генераций и интересных промптов.
Всего доброго и до новых встреч.
Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.
