На январском Форуме исследований Microsoft Дипендра Мисра, старший исследователь в Microsoft Research Lab NYC и AI Frontiers, представил метод Layer-Selective Rank Reduction (LASER), способный повысить точность больших языковых моделей.Ferra
Суть LASER заключается в замене одной матрицы весов на приблизительно меньшую.Ferra
Исходя из результатов тестов, замена матрицы более маленькой, но точной, не снижает точность модели, а, наоборот, в некоторых случаях улучшает ее на 20−30 процентных пунктов.Ferra
Мисра утверждает, что его команда успешно применила LASER к трем различным открытым моделям: RoBERTa, Llama 2 и Eleuther’s GPT-J.Ferra