1 год назад
Новая альтернатива: MoRA нацелена на устранение ошибок LoRa
В мире искусственного интеллекта Finetune LLMок — это всегда горячая тема. Сегодня мы хотим познакомить вас с MoRA, новым методом, разработанным ребятами из Университета Бэйхан и Microsoft. Этот метод обещает улучшить эффективность до обучения LoRa. Проблема с LoRA Низкоранговая адаптация (LoRA) — популярный метод, который позволяет экономить память и вычислительные ресурсы при настройке LLM. Но, как выяснили исследователи, у LoRA есть свои минусы. Низкоранговые обновления могут мешать LLM эффективно...