Тихомиров М.М. - Обучение больших языковых моделей - 7. Методы Fine-tuning и LoRA
✔️ Fine-tuning больших LLM больше не обязан быть мучительно медленным
4 open-source библиотеки, которые ускоряют обучение моделей: 1. Unsloth AI Ускоряет fine-tuning Qwen, Llama, Gemma и других моделей, снижает расход VRAM, подходит даже для consumer GPU и Colab/Kaggle. https://github.com/unslothai/unsloth 2. LLaMA Factory Удобный CLI и WebUI для fine-tuning 100+ моделей. Поддерживает LoRA, QLoRA, full/frozen tuning и разные режимы квантования...