"Мы дали ему весь чат, а он все равно не учел важное" - классика внедрения ИИ

"Мы дали ему весь чат, а он все равно не учел важное" - классика внедрения ИИ

Длинный контекст - это не память. Это длинная простыня.

Чуть поговорим про контекст (память ИИ)...

Самая частая история при внедрении ИИ агентов в поддержке и продажах - клиент уже все рассказал, мы уже обсудили ограничения, цены, сроки, а ассистент на 33-м сообщении снова задает тот же вопрос или предлагает вариант, который мы минут 10 назад закрыли.

И тут обычно выход находится такой - "Ну значит надо дать ему длиннее контекст. Засунем весь чат, всю CRM, всю базу знаний".

Длинный контекст - не панацея.

У моделей есть проблема: когда важное лежит в середине длинного куска, оно часто выпадает из внимания. Это не потому что модель тупая, а потому что такой механизм - все это хранится как один плоский буфер, где части легко теряются. 

По ощущениям это как человек, которому дали стопку бумажек и сказали: "Ответь точно, все нужное там". Он что-то найдет… но не факт, что самое важное. (Заметили?! Я очень люблю сравнивать ИИ с человеком)

Что с этим делать в реальном внедрении:

1. Не даем весь чат, а превращаем чат в события. Не сообщения, а "эпизоды": потребность, ограничения, бюджет, решение, отказ, следующий шаг. 

2. Отдельно держим состояние сделки/обращения. Короткая "память" на 10–20 строк: что уже известно, что подтверждено, что запрещено. Это и есть "память" для действий, а не свалка текста. 

3. Контроль на уровне правил. Перед ответом - быстрые проверки: "не противоречь ограничениям", "не спрашивай то, что уже подтверждено", "не предлагай то, что уже отклонено". 

Вот тогда ассистент перестает быть читателем простыни и становится нормальным исполнителем процесса. Потому что проблема не в том, что у него мало текста. Проблема в том, что текст - не структура.