33 подписчика
🧠 Память модели не растёт с длиной диалога: 72 МиБ вместо 8 ГиБ
Кэш внимания EdgeRock-4B фиксирован: при контексте в 256 тыс. токенов он занимает 72 МиБ вместо 8 ГиБ у Qwen3.5-4B — на 99,1% меньше. Модель выпустила команда Rock Matrix при участии Hong Kong University of Science and Technology и Carnegie Mellon University. За основу взяли Qwen3.5-4B от Alibaba; с нуля её не обучали — переделывали поэтапно.
24 слоя Gated DeltaNet уже хранят состояние фиксированного размера — их не меняли. Восемь слоёв полного внимания обычно хранят ключи и значения для всех прошлых токенов; их перевели на скользящее окно в 1 024 токена.
Чтобы модель не забывала то, что выпало из окна, добавили Rock Memory Anchors — небольшой банк якорей, свой у каждой группы голов внимания. Раз в 256 токенов модель оставляет в нём 1 024 самых полезных.
Замеры делала сама команда. На одном GPU Hopper EdgeRock обслужил 512 одновременных потоков — 12 124 токена в секунду, в 6,42 раза больше, чем 1 889 у Qwen3.5-4B при пределе в 64 потока. На AIME EdgeRock сохраняет 96,3% результата Qwen3.5-4B, на MATH-500 — 97,5%; в задаче поиска с якорями он набирает 94,1%, без них — 0,4%.
Веса открыты, есть квантованные сборки; лицензия, по словам команды, разрешает коммерческое использование.
1 минута
2 дня назад