Компания Chroma выпустила Context-1: модель поискового агента на 20 миллиардов параметров для многоэтапного поиска, управления контекстом и

Компания Chroma выпустила Context-1: модель поискового агента на 20 миллиардов параметров для многоэтапного поиска, управления контекстом и масштабируемой генерации синтетических задач

В современном мире искусственного интеллекта «окно контекста» стало грубым инструментом. Нам говорят, что если мы просто расширим память передовой модели, проблема поиска исчезнет. Однако любой специалист по ИИ, работающий с системами RAG (Retrieval-Augmented Generation), знает: если поместить миллион токенов в запрос, это часто приводит к увеличению задержек, астрономическим затратам и сбоям в рассуждениях из-за «потерянности в середине», которые не решает даже большой объём вычислений.

Компания Chroma, стоящая за популярной открытой векторной базой данных, использует другой, более хирургический подход. Они выпустили Context-1 — модель поискового агента на 20 миллиардов параметров, предназначенную для выполнения специализированных задач поиска.

Вместо того чтобы быть универсальным механизмом рассуждений, Context-1 — это высокооптимизированный «разведчик».

Он создан для одной цели: находить нужные вспомогательные документы для сложных многоэтапных запросов и передавать их последующей передовой модели для получения окончательного ответа.

Рост агентских подсистем

Context-1 создан на основе gpt-oss-20B, архитектуры Mixture of Experts (MoE), которую компания Chroma настроила с помощью комбинации Supervised Fine-Tuning (SFT) и Reinforcement Learning (RL) через CISPO (поэтапную оптимизацию учебной программы).

Цель — не просто извлекать фрагменты; нужно выполнить последовательную задачу рассуждения. Когда пользователь задаёт сложный вопрос, Context-1 не просто обращается к индексу векторов один раз. Он разбивает высокоуровневый запрос на целевые подзапросы, выполняет параллельные вызовы инструментов (в среднем 2,56 вызова за ход) и выполняет поиск в корпусе итеративно.

Для специалистов по ИИ наиболее важным выводом здесь является архитектурный сдвиг: отделение поиска от генерации.

В традиционном конвейере RAG разработчик управляет логикой поиска. С Context-1 эта ответственность передана самой модели. Она работает внутри специальной агентской системы, которая позволяет ей взаимодействовать с такими инструментами, как searchcorpus (гибридный BM25 + плотный поиск), grepcorpus (регулярные выражения) и read_document.

Ключевая особенность: саморедактируемый контекст

Наиболее значимым техническим нововведением в Context-1 является саморедактируемый контекст.

Пока агент собирает информацию в несколько этапов, его окно контекста заполняется документами, многие из которых оказываются избыточными или нерелевантными для окончательного ответа. Общие модели в конечном итоге «захлёбываются» в этом шуме. Однако Context-1 обучен с точностью обрезки 0,94.

В середине поиска модель просматривает накопленный контекст и проактивно выполняет команду prune_chunks, чтобы отбросить нерелевантные фрагменты. Эта «мягкая обрезка» поддерживает контекстное окно в оптимальном состоянии, освобождая место для более глубокого исследования и предотвращая «контекстную гниль», которая поражает более длинные цепочки рассуждений.

Это позволяет специализированной модели на 20 милл...

Читать далее