Чёрный ящик для AI-агентов: как найти, где именно агент ошибся

# Чёрный ящик для AI-агентов: как найти, где именно агент ошибся

Почему AI-агенты так сложно чинить

AI-агент — это не обычная программа. Обычная программа выполняет команды по порядку. Если что-то пошло не так — видно, на какой строке кода ошибка.

У AI-агента всё иначе. Он принимает решения на каждом шаге. Выбирает, какой инструмент вызвать, с какими параметрами, в каком порядке. Два запуска с одним и тем же заданием могут пойти разными путями.

Когда агент ломается, найти причину — задача не из простых.

Что такое flight recorder

Flight recorder — инструмент, который записывает каждый шаг AI-агента. По аналогии с чёрным ящиком в самолёте: он не предотвращает аварию, но помогает понять, что к ней привело.

Что именно записывается

- Какое задание получил агент - Какой инструмент решил вызвать и с какими параметрами - Что инструмент вернул в ответ - Сколько времени заняло каждое действие - Какая модель использовалась

Вся эта информация сохраняется как один «прогон», который потом можно изучить.

Три новые возможности версии 2.8.5

Сравнение удачного и неудачного запусков

Самая полезная функция. Берём запуск, когда агент справился с задачей. Берём запуск, когда не справился. Инструмент показывает, на каком шаге поведение разошлось.

Пример: агент обрабатывал заявки каждый день. В какой-то момент начал пропускать часть заявок. Сравнение показало — на третьем шаге агент стал получать ответ в другом формате от внешнего сервиса. Агент не сломался — изменились входные данные.

Без сравнения — часы гадания. С ним — три минуты до ответа.

Точное время каждого действия

Каждый вызов инструмента теперь привязан ко времени с точностью до миллисекунд. Если между двумя действиями прошло 45 секунд вместо обычных двух — видно сразу. Значит, внешний сервис тормозил или контекст стал слишком большим.

Выгрузка данных

Записи можно выгрузить в формате JSON. Это позволяет:

- Автоматически анализировать сотни запусков - Подключить к системам мониторинга - Сохранять «эталонные» запуски для проверки после изменений

Кому это нужно

Flight recorder полезен, если:

- AI-агент выполняет несколько шагов подряд - Агент обращается к внешним сервисам - Агент работает постоянно и его сбои стоят денег - Проблема возникает «иногда» и её сложно повторить

Если агент делает одно простое действие — записывать и сравнивать нечего.

Главный вывод

Отладка AI-агентов — относительно новая задача. Привычные способы поиска ошибок здесь работают плохо. Flight recorder предлагает подход из авиации: записать всё, а потом спокойно разобраться.

Разница между «не знаю, почему сломалось» и «вот точный шаг, где пошло не так» — это разница между часами поиска и парой минут.