У модели 3B параметров, но активируются только 500M. При этом она показывает новые SOTA-результаты на OmniDocBench v1.5 и v1.6. Главная фишка - Reference Sliding Window Attention. Модель держит в фокусе: • исходный документ • недавний контекст • следующие слова А всё лишнее постепенно «забывает», чтобы не раздувать вычисления...