🌟 CogVideoX Factory: оптимизация файнтюна моделей генерации видео семейства CogVideoX. CogVideoX Factory - репозиторий с набором скриптов для эффективного файнтюна моделей семейства CogVideoX (CogVideoX-2B и CogVideoX-5B) с фокусом на оптимизацию VRAM. CogVideoX Factory позволяет выполнять обучение на GPU с 24 GB. Проект предоставляет гибкость в выборе между LoRA и файнтюном всей модели для задач "text-to-video" и "IMG-to-video". Чтобы сделать возможным файнтюн на ограниченных ресурсах, CogVideoX использует методы оптимизации: 🟢CPUOffloadOptimizer - перемещает обучаемые параметры и градиенты модели в CPU, освобождая память GPU для других операций; 🟢DeepSpeed Zero2 - распределяет параметры модели по нескольким GPU, что позволяет обучать большие модели, которые иначе не поместились бы в память одного GPU; 🟢LoRA - метод тонкой настройки, который изменяет только небольшое подмножество параметров модели, сохраняя при этом основную часть весов неизменной. CogVideoX Factory предлагает сценарии обучения: 🟠LoRA для "text-to-video": cкрипт train_text_to_video_lora.sh; 🟠LoRA для "IMG-to-video": cкрипт train_image_to_video_lora.sh; 🟠SFT всей модели для "text-to-video": скрипт train_text_to_video_sft.sh. ⚠️ Предварительная подготовка данных - один из важнейших условий CogVideoX Factory. Скрипт prepare_dataset.py играет ключевую роль в этом процессе, преобразуя видео и аннотации в латенты и эмбединги. Использование предварительно вычисленных латентов и эмбедингов позволяет не загружать VAE и T5 во время обучения. CogVideoX Factory предлагает подробную документацию, в которой объясняются шаги по подготовке датасетов, настройке параметров обучения, запуску инференса, информацию о требованиях к памяти для каждой модели и конфигурации, помогая принять корректные решения о выборе стратегии обучения. 📌Лицензирование : Apache 2.0 License. 🖥Github @machinelearning #AI #ML #LoRA #T2V #IMG2V #Finetune