Найти в Дзене
Дмитрий Ильин

Большая память у ИИ есть. Найти нужное он всё равно не может

Ещё год назад в ИИ-тусовке гуляла бодрая мысль: зачем отдельные инструменты поиска, если у моделей скоро будет огромная память? Всё поместится, всё найдётся, а поиск станет ненужным костылём. Звучало красиво. Почти как «я начну бегать с понедельника». А потом пришла практика — и выяснилось, что с агентами проблема поиска не исчезла. Она просто выросла и стала злее. Человек делает пару запросов в минуту: поискал документ, уточнил, поправил, вздохнул. Агент — маленький трудоголик без личной жизни. Ему, чтобы принять одно решение, нужно проверить несколько источников, сделать параллельные запросы, прогнать варианты, пересобрать ответ. Сотни запросов — просто чтобы «пощупать мир» перед действием. И вот тут большая память внезапно перестаёт помогать. Память хороша, чтобы держать нить разговора. Но она не заменяет поиск по миллионам документов, которые постоянно меняются: корпоративные файлы, отчёты, базы знаний, переписка. Это не память — это склад, где всё время кто-то переставляет коробки
Оглавление

Ещё год назад в ИИ-тусовке гуляла бодрая мысль: зачем отдельные инструменты поиска, если у моделей скоро будет огромная память? Всё поместится, всё найдётся, а поиск станет ненужным костылём.

Звучало красиво. Почти как «я начну бегать с понедельника».

А потом пришла практика — и выяснилось, что с агентами проблема поиска не исчезла. Она просто выросла и стала злее.

Почему агенты ломают «поиск на коленке»

Человек делает пару запросов в минуту: поискал документ, уточнил, поправил, вздохнул.

Агент — маленький трудоголик без личной жизни. Ему, чтобы принять одно решение, нужно проверить несколько источников, сделать параллельные запросы, прогнать варианты, пересобрать ответ. Сотни запросов — просто чтобы «пощупать мир» перед действием.

И вот тут большая память внезапно перестаёт помогать.

Память хороша, чтобы держать нить разговора. Но она не заменяет поиск по миллионам документов, которые постоянно меняются: корпоративные файлы, отчёты, базы знаний, переписка. Это не память — это склад, где всё время кто-то переставляет коробки.

Что ломается, когда поиск не тянет

Проблем обычно три, и все неприятные.

Первая — качество. Если поиск пропустил нужный документ, агент принял решение на неполной картине. А у агента поиск идёт несколькими проходами за один шаг — ошибка копится как снежный ком.

Вторая — свежие данные. Хуже всего ищется именно то, что только что добавили. Хотя именно это обычно и важнее всего.

Третья — скорость. Один медленный узел в системе растягивает весь агентный шаг. Как пробка на ТТК в час пик: один затор — и всё встало. Человек потерпит. Агент начнёт сыпаться.

Берлинский стартап поднял $50 млн — именно на это

Qdrant — открытый проект для поискового слоя в ИИ-системах — закрыл раунд на $50 млн. Их ставка простая: в агентном мире «достать нужное» стало не проще, а дороже и критичнее.

В версии 1.17 они целятся ровно в эти боли. Добавили механизм уточнения поиска на следующем проходе — без переобучения модели, просто тонкая настройка фокуса. Сделали резервный запрос: если один узел отвечает подозрительно долго, запрос автоматически уходит на другой — как приложение такси, которое начинает искать второго водителя, пока первый «в пути» уже слишком долго.

Как это выглядит в реальной компании

Один из клиентов — сервис для оценки стартапов. Их продукт полностью построен на поиске: описываешь потребность обычными словами — получаешь ранжированный список из миллионов компаний. Один запрос пользователя превращается в несколько параллельных поисков с разных углов, потом результаты склеиваются и переранжируются.

После перехода на специализированный поиск они срезали расходы на инфраструктуру примерно на 40% и увидели рост вовлечённости втрое. Их главная метрика — не скорость, а точность: если лучший вариант не попал в выдачу, пользователь просто перестаёт верить системе.

Когда стоит задуматься о нормальном поиске

Основатель Qdrant даёт здравый совет: начинать можно с того поиска, что уже есть в твоём стеке. Переходить на специализированный имеет смысл, когда масштаб начинает кусаться.

Три сигнала что пора: качество поиска напрямую влияет на деньги — пропустил результат, потерял клиента. Запросы стали многошаговыми — агент ищет несколько раз за один шаг. Данных стало десятки миллионов документов.

Тогда выясняется, что большая память — это максимум блокнот на столе. А нужен архив с быстрым каталогом, который не падает в обморок от каждого нового поступления.

Агент без нормального поиска — как очень уверенный курьер без адреса: бегает быстро, делает много движений, но всё время приезжает куда-то не туда.