В мире искусственного интеллекта Finetune LLMок — это всегда горячая тема.
Сегодня мы хотим познакомить вас с MoRA, новым методом, разработанным ребятами из Университета Бэйхан и Microsoft. Этот метод обещает улучшить эффективность до обучения LoRa.
Проблема с LoRA
Низкоранговая адаптация (LoRA) — популярный метод, который позволяет экономить память и вычислительные ресурсы при настройке LLM. Но, как выяснили исследователи, у LoRA есть свои минусы. Низкоранговые обновления могут мешать LLM эффективно учиться и запоминать новую информацию, особенно в задачах, где требуется много памяти и новых знаний.
Знакомьтесь с MoRA: Высокоранговые обновления
MoRA, сокращение от Matrix-based Rank Adaptation, предлагает свежий взгляд на проблему. Вместо низкоранговых матриц, MoRA использует квадратные матрицы для высокоранговых обновлений, сохраняя при этом то же количество настраиваемых параметров. Это позволяет интегрировать обновления обратно в LLM, как и в случае с LoRA.
Почему MoRA круче
Дизайн MoRA позволяет справляться с задачами, требующими большой памяти, без потери эффективности. Метод был протестирован в различных сценариях:
- Настройка инструкций: Адаптация LLM к задачам пользователей.
- Математическое рассуждение: Решение сложных задач.
- Непрерывное предварительное обучение: Улучшение знаний в таких областях, как биомедицина и финансы.
Отличные результаты
Результаты впечатляют! MoRA превосходит LoRA в задачах, требующих большой памяти, и показывает отличные результаты в других задачах. Например, в задачах непрерывного предварительного обучения MoRA демонстрирует лучшую способность удерживать специализированные знания.
Автор: Артем Васильев