158 подписчиков

Простой способ обучения Flux LoRA

12 сентября 202412 сен 2024

570

3 мин

Оглавление

Что такое Flux Gym?
Как это работает?
Установка Flux Gym

Приветствую!

Вы когда-нибудь хотели обучать модель с ограниченным объемом видеопамяти? Теперь это возможно благодаря Flux Gym — веб-интерфейсу, который объединяет простоту AI-Toolkit WebUI и мощь скриптов Kohya. Даже если у вас всего 12 ГБ VRAM, вы сможете начать обучение моделей без лишних сложностей.

Что такое Flux Gym?

Flux Gym — это простой и удобный веб-интерфейс для обучения моделей с использованием Flux LoRA. Этот проект возник из необходимости создать интуитивно понятный пользовательский интерфейс, который работал бы с ограниченными ресурсами видеопамяти.
Вдохновением послужил проект AI-Toolkit и вклад в пользовательский интерфейс Gradio от @multimodalart, который изначально поддерживал только устройства с 24 ГБ VRAM.
Однако Flux Gym поддерживает и 12 ГБ, 16 ГБ и 20 ГБ VRAM, что делает его доступным для большего числа пользователей.

Как это работает?

Фронтенд: Flux Gym использует WebUI, построенный на основе AI-Toolkit, что обеспечивает удобный интерфейс для работы с моделями.

Бэкэнд: В основе лежат скрипты Kohya, которые позволяют гибко и эффективно управлять процессом обучения, но без необходимости работать через терминал.

Flux Gym объединяет эти два подхода, предлагая пользователю мощный инструмент для работы с нейросетями без лишних сложностей и с минимальными требованиями к видеопамяти.

Установка Flux Gym

1. Установка в один клик

Чтобы установить Flux Gym автоматически и локально, используйте Pinokio 1-click launcher:

pinokio.computer

Pinokio

2. Ручная установка

Для тех, кто предпочитает установить всё вручную, следуйте этим шагам:

1. Клонирование репозиториев:

git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

После клонирования структура папок будет выглядеть так:

/fluxgym
app.py
requirements.txt
/sd-scripts

2. Создание и активация виртуального окружения:

Если у вас Windows:

python -m venv env
env\Scripts\activate

Если у вас Linux:

python -m venv env
source env/bin/activate

Это создаст папку env под папкой fluxgym:

/fluxgym
app.py
requirements.txt
/sd-scripts
/env

3. Установка зависимостей:

Перейдите в папку sd-scripts и установите зависимости:

cd sd-scripts
pip install -r requirements.txt

Затем вернитесь в корневую папку и установите зависимости приложения:

cd ..
pip install -r requirements.txt

Установка PyTorch Nightly:

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121

Загрузка контрольных точек модели:

Загрузите модели в папку models/clip:

https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors?download=true
https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp16.safetensors?download=true

Загрузите модель в папку models/vae:

https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/ae.sft?download=true

Загрузите модель в папку models/unet:

https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/flux1-dev.sft?download=true

Структура файлов

Когда вы разархивируете проект Fluxgym, у вас получится примерно такая структура:

/models
/clip
clip_l.safetensors
t5xxl_fp16.safetensors
/unet
flux1-dev.sft
/vae
ae.sft
/sd-scripts
/outputs
/env
app.py
requirements.txt
...

Начало работы

Для начала необходимо вернуться в корневую папку проекта fluxgym, активировать виртуальное окружение и запустить приложение. Делается это следующим образом:

Активируйте виртуальное окружение (venv):Для Windows: env/Scripts/activate
Для Linux: source env/bin/activate
Запустите приложение командой:

python app.py

Обязательно не забудьте активировать виртуальное окружение перед запуском python app.py.

Использование

Работать с Fluxgym проще простого:

Введите информацию о Лоре.
Загрузите изображения и добавьте к ним подписи, используя ключевое слово.
Нажмите кнопку «Пуск».

Вот и все! Fluxgym начнет процесс обучения модели.

Конфигурация

Генерация образцов изображений

По умолчанию Fluxgym не создает образцы изображений в процессе тренировки. Но если вам нужно видеть промежуточные результаты, можно настроить автоматическое создание изображений через определенные интервалы.

Для этого:

Образцы подсказок изображений: Укажите подсказки, которые будут использоваться для генерации изображений. Если вам нужно несколько подсказок, разделяйте их новой строкой.
Образец изображения каждые N шагов: Например, если "Ожидаемое количество шагов обучения" равно 960, а "Образец изображения каждые N шагов" установлен на 100, то изображения будут создаваться на шагах 100, 200, 300 и так далее до 900 включительно.

На этом все. Теперь вы готовы к полноценной работе с Fluxgym!