Похоже, рынок длинного контекста снова движется вперед. Стартап Subquadratic Представлен SubQ 1M-Preview — модель, которая обеспечивает первую кредитную компанию LLM с полностью субквадратичной архитектурой, и предоставляет для нее контекст до 12 миллионов токенов.
Что в ней особенного
Обычно внимание в LLM растёт слишком тяжело: чем больше контекста, тем лучше вычисления. В SubQ вместо классического сравнения «каждый токен с каждым» используется SSA — Subquadratic Sparse Attention, где модель выбирает только релевантные позиции по содержимому, а не обрабатывает всё подряд.
Идея проста: не заставляйте модель «перелопачивать» весь такой текст, а дать ей более умный способ поиска роли. За счет этого разработчики обещают линейное масштабирование и более практичную работу с очень большими объемами данных.
Зачем это нужно
Subquadratic делает ставку не только на чат, но и на агентские скрипты. Для этого у них есть SubQ Code — CLI-агент, который может загрузить все репозитории в одном контексте, что особенно полезно для работы с кодовыми базами и сложными проектами.
По словам компании, ранний доступ уже открыт через API и SubQ Code, а сама команда состоит из 11 докторов наук-исследователей с опытом работы в Meta, Google, Oxford, Cambridge, ByteDance и Adobe.
Вывод
В бенчмарках SubQ выглядит независимым, но не абсолютным лидером: на MRCR v2 она уступает Opus 4.6 и GPT 5.5, зато заметно обходит Opus 4.7 и Gemini; на SWE-Bench и RULER заявлен паритет с Opus 4.6. При этом компания подчёркивает, что результаты проверены резервами, полноценной бумагой и карточкой модели ещё обещаны позже.
Если коротко, SubQ — это ставка на будущее, где ИИ не просто отвечает за вопросы, а удерживает в голове огромный контекст: от целевых репозиториев до использования рабочих историй.