Короткий анонс: Демо показывает, что агент иногда решает задачу. Evals показывают, как часто он достигает результата, сколько стоит, какие инструменты вызывает и не нарушает ли ограничения после изменения модели или промпта. Обычную функцию можно проверить одинаковым входом и ожидаемым выходом. AI-агент сложнее: он планирует шаги, выбирает инструменты, читает внешние данные и генерирует немного разные ответы. Из-за этого команды часто тестируют агента вручную: запускают три удачных примера, читают ответы и решают, что система готова...

Тестировщик — кто это, чем занимается, нужно ли ему программирование и как войти в профессию с нуля? Эти вопросы закономерно возникают у тех, кто присматривается к IT, но пока не готов становиться разработчиком. На самом деле современный тестировщик — это далеко не человек, который просто нажимает кнопки и ищет ошибки. QA-инженер анализирует требования, продумывает сценарии использования продукта, проверяет сайты и приложения, тестирует API и базы данных, документирует найденные проблемы и помогает команде выпускать качественный продукт...