Новый подход к разреженному вниманию: интервал Фибоначчи даёт преимущество
arXiv cs.CL · 30 Jun 2026
Исследователь Чад А. Кэппс предложил новый способ настройки разреженного внимания в языковых моделях — с использованием интервала Фибоначчи в шахматном порядке. В ходе экспериментов с 21 языковой моделью сравнивались разные методы настройки параметра альфа, отвечающего за сжатие или расширение интервала. Выяснилось, что статическое смещение для каждого слоя даёт лучшие результаты по сравнению с фиксированным или изучаемым подходом. При этом разреженные варианты требуют в четыре раза больше времени на тренировку, но не ухудшают качество работы модели, в отличие от плотной базовой линии. Метод позволяет эффективнее обрабатывать данные там, где обычное плотное внимание даёт сбои.
🔗 Читать на сайте #arxivcscl #ИИ #технологии
