1 месяц назад
Дешёвая проверка памяти ИИ-агента пропускает ошибки — разбор инженера МТС
Инженер МТС разобрал контроллер доверия к памяти ИИ-агентов — механизм, который решает, можно ли опираться на ранее запомненный факт. Отправная точка разбора — чат-бот MyCity мэрии Нью-Йорка: справочник для малого бизнеса советовал предпринимателям вещи, за которые грозили штрафы и суды. Проблема в том, что агент хранит в памяти и проверенные факты, и собственные выводы, и то, что ему сказал пользователь, — и при ответе не различает источники...