Ты когда-нибудь просил ИИ разобраться в большом документе — и получал в ответ что-то размытое, как будто он прочитал всё сразу и ничего толком не запомнил? Это не глюк и не случайность. У этой проблемы есть название и, кажется, наконец-то появилось решение.
Когда больше — не значит лучше
Несколько лет индустрия двигалась в одном направлении: делать у моделей всё большее «окно памяти». Логика простая — чем больше текста модель удерживает за раз, тем умнее ответит.
На практике всё оказалось сложнее. Когда в голову модели одновременно загружают сотни страниц, она начинает теряться. Важное тонет в потоке второстепенного, ответы становятся расплывчатыми, а время ожидания растёт. Среди разработчиков это явление давно получило название lost in the middle — модель хорошо помнит начало и конец, но середина для неё как чужой сон.
Чем толще документ, тем хуже работает этот подход. И никакое увеличение памяти проблему не снимает — она просто масштабируется вместе с ней.
Разведчик вместо энциклопедии
Компания Chroma предложила другой подход. Вместо того чтобы пытаться запихнуть в одну модель всё сразу, они выпустили отдельную маленькую модель — Context-1. Её единственная задача — искать.
Работает это так. Когда пользователь задаёт сложный вопрос, Context-1 не читает весь массив документов целиком. Она разбивает вопрос на части, ищет ответ на каждую по отдельности, несколько раз уточняет — и в итоге передаёт основной модели только то, что действительно нужно. Чистый, компактный, релевантный кусок.
Это как послать в архив не директора, а специально обученного архивариуса. Директор потом получает уже выжимку — и думает только над ответом, а не над тем, в какой папке что лежит.
Она ещё и сама себя чистит
Есть у Context-1 одна особенность, которая выглядит почти как черта характера. В процессе поиска она накапливает промежуточные результаты — и периодически сама же их пересматривает. Всё, что оказалось лишним или повторяющимся, она выбрасывает. Не ждёт, пока память переполнится, а чистит на ходу.
Звучит как навык, который многим людям тоже не помешал бы на совещаниях.
Цифры, которые сложно проигнорировать
Chroma сравнивала свою модель с самыми мощными из доступных — и результаты получились неожиданными. На задачах поиска по документам Context-1 работает в 10 раз быстрее больших моделей и обходится примерно в 25 раз дешевле. При этом качество ответов сопоставимое.
Чтобы окончательно убедиться в этом, исследователи запускали четыре копии Context-1 параллельно — и объединяли результаты. Такая связка по точности дотягивалась до лучших моделей GPT-5, стоя при этом несравнимо меньше.
Зачем это знать, если ты не разработчик
Напрямую — пока ни за чем. Context-1 это инструмент для тех, кто строит ИИ-продукты изнутри. Но за этим подходом стоит кое-что важное для понимания того, куда движется индустрия.
Большие модели — дорогие. Компании, которые используют ИИ для работы с документами, тратят на это огромные деньги. Если специализированные «разведчики» вроде Context-1 действительно работают так, как заявлено — это означает, что умные ИИ-инструменты для бизнеса станут дешевле и доступнее. А значит, быстрее появятся в тех продуктах, которыми пользуемся все мы.
Большой ИИ хорош для многого. Но иногда нужен просто хороший читатель — который умеет выбросить лишнее раньше, чем оно успеет запутать всех остальных.
Занимаюсь внедрением ИИ для бизнеса. Детали — в телеграме