Программа LoRA_Easy_Training_Scripts представляет собой набор инструментов для обучения и редактирования моделей LoRA в Stable Diffusion. Один из этих инструментов - LoRA Resize, позволяющий изменять размерность (ранг) моделей LoRA.
Что такое LoRA Resize и зачем это нужно
Доступ к функции LoRA Resize
В LoRA_Easy_Training_Scripts или Kohya_SS (который использует аналогичную функциональность) вы можете найти эту функцию, перейдя в раздел:
Меню Utils > LoRA Resize
Параметры LoRA Resize
Model - Поле для выбора исходной модели LoRA, которую вы хотите изменить. Кнопка с папкой справа позволяет выбрать файл модели с вашего компьютера.
Batch Folder - При активации этого флажка вы можете обрабатывать сразу несколько моделей LoRA из одной папки вместо одиночного файла.
Save Precision - Определяет формат данных для сохранения измененной модели. В примере выбран "fp16" (16-битная точность с плавающей запятой), что обеспечивает хороший баланс между размером файла и точностью.
Варианты:
- fp16: 16-битная точность с плавающей запятой (половинная точность)
- bf16: 16-битный формат "brain floating point"
- float: 32-битная точность с плавающей запятой (полная точность)
- Влияние: Влияет на точность и размер сохранённой модели. fp16 и bf16 дают меньший размер файла, но с некоторой потерей точности по сравнению с float.
Max Rank - Устанавливает максимальный ранг для динамического метода.
New Rank - Устанавливает желаемый ранг для изменённой модели LoRA обычного метода.
Рекомендуется использовать 8-32.
Меньший ранг означает меньший размер файла и менее детализированную модель.
Max Conv Rank - Устанавливает максимальный ранг для сверточных слоев модели (если флажок активирован). Установлено значение "1".
Output Folder - Определяет папку, куда будет сохранена измененная модель.
Output Name - Поле для задания имени выходного файла. Имя будет сгенерировано автоматически без активации флага.
Use GPU - По умолчанию используется графический процессор для ускорения изменения размера.
////
Verbose Printing - выводит подробную информацию о процессе изменения размера.
Remove Conv Dims - удаляет некоторые измерения из сверточных слоев для уменьшения размера.
Remove Linear Dims - удаляет некоторые измерения из линейных слоев для уменьшения размера.
Dynamic Method (Динамический метод)
Описание: Метод, применяемый при изменении размера модели LoRA для корректировки её рангового представления.
Варианты:
- None: Стандартное поведение без применения специальных методов. Ранг уменьшается согласно указанному новому рангу без особых техник
- sv_ratio: Сохраняет часть сингулярных значений на основе соотношения. Метод использует параметр Dynamic Parameter для контроля над тем, сколько верхних сингулярных значений будет сохранено
- sv_fro: Применяет порог на основе нормы Фробениуса сингулярных значений. Dynamic Parameter контролирует, какая доля этой нормы должна быть сохранена
- sv_cumulative: Фокусируется на кумулятивном сохранении сингулярных значений. Накапливает сингулярные значения в порядке убывания и сохраняет их, пока кумулятивная сумма не достигнет определённой доли от общей суммы сингулярных значений
Заключение
Функция LoRA Resize в LoRA_Easy_Training_Scripts предоставляет мощный инструмент для уменьшение размера моделей LoRA путем изменения их ранга. Правильный выбор параметров позволяет найти баланс между размером модели и её качеством.
После изменения размера модели LoRA рекомендуется проверить её работу через XYZ Plot если вы хотите сравнить одну и ту же модель с тем же рангом.
Лучший скрипт для тестов в Stable diffusion. Разбираемся с XYZ plot