Короткий анонс: Демо показывает, что агент иногда решает задачу. Evals показывают, как часто он достигает результата, сколько стоит, какие инструменты вызывает и не нарушает ли ограничения после изменения модели или промпта. Обычную функцию можно проверить одинаковым входом и ожидаемым выходом. AI-агент сложнее: он планирует шаги, выбирает инструменты, читает внешние данные и генерирует немного разные ответы. Из-за этого команды часто тестируют агента вручную: запускают три удачных примера, читают ответы и решают, что система готова...