Введение Адаптация больших языковых моделей (LLM, Large Language Models) под специфические задачи — сложная и ресурсоемкая задача. Полный fine-tuning модели, такой как Llama-2-13B или GPT-3, требует огромного количества вычислительных ресурсов и памяти, что делает его неэффективным для большинства пользователей. В ответ на эту проблему появились параметро-эффективные методы адаптации (PEFT, Parameter-Efficient Fine-Tuning), которые позволяют обучать только небольшую часть модели, сохраняя основную структуру неизменной...