LoRA (low-rank adaptation, дообучение через низкоранговые матрицы), стандартный способ дёшево дообучать большую языковую модель под конкретную задачу, не трогая все её веса. Проблема возникает, когда модель дообучают последовательно на цепочке разных задач: LoRA-подобные методы просто добавляют новый низкоранговый адаптер поверх того же замороженного веса, и каждая следующая задача постепенно затирает то, что модель усвоила на предыдущих (эффект забывания). Авторы предлагают ReCoLoRA (Recursive Consolidation...