Что такое TinyLoRA: донастройка ИИ с 13 параметрами на Qwen2.5-7B
Представьте, что для обучения нейросети решению сложных математических задач требуется объем данных, сопоставимый с парой слов в этом предложении. Звучит как научная фантастика, но это новая реальность, продемонстрированная учеными из FAIR at Meta, Cornell University и Carnegie Mellon University. В своем исследовании они представили метод TinyLoRA, который позволил донастроить модель Qwen2.5-7B для одной из самых сложных задач. Исследователи добились точности в 91.8% на бенчмарке GSM8K, задействовав всего 13 параметров, что в сумме занимает лишь 26 байт в формате bf16 [1]...