Признаюсь: когда я впервые услышал про AI-агентов, которые сами пишут тесты, сами их чинят и даже логи анализируют, я подумал: «Ну всё, можно расслабиться». Закинул ноги на стол, сварил кофе и сказал агенту: «Давай, дружище, покажи, на что способен».
Спойлер: кофе остыл, а я всё сидел и разбирался, почему агент решил проверить кнопку, которой в приложении никогда не было.
Эта статья — честный разбор моего опыта работы с AI-агентами в QA (Testin XAgent, Functionize, GitHub Copilot для тестов). Без хайпа, без паники. Просто расскажу, где они реально помогают, а где пока «лечат, а не калечат».
Что такое AI-агент и чем он отличается от обычного ChatGPT
Если ChatGPT — это умный собеседник, который может дать совет, то AI-агент — это исполнитель. Он не просто говорит, а делает. У него есть доступ к инструментам: он может открыть браузер, нажать кнопку, прочитать лог, запустить тест и даже исправить сломанный локатор.
В основе — всё те же большие языковые модели, но обёрнутые в RAG (подтягивает актуальную документацию) и агентную логику (сам принимает решения, что делать дальше).
Звучит мощно. И на практике — правда мощно. Но иногда этот «исполнитель» напоминает стажёра, который только что прочитал учебник и полон энтузиазма, но пока не знает, где в офисе туалет.
Кейс №1: AI-агент пишет тест-кейсы
Первое, что я попросил: «Напиши тест-кейсы для формы регистрации».
Агент выдал структуру, покрыл позитивные и негативные сценарии, даже добавил проверки безопасности. Я аж прослезился. Кофе ещё не остыл, если что)))
Что получилось хорошо:
- Структура — вау. Чётко, логично.
- Покрытие — агент не забыл про граничные значения, пустые поля, спецсимволы.
- Экономия времени — минут 20–30, которые я бы потратил на рутину, агент сделал за 30 секунд.
Что пошло не так:
Агент предложил проверить кнопку «Отправить код по SMS». В форме регистрации, где SMS вообще не было. И в требованиях, и в макете. Просто галлюцинация.
Я уточнил: «Откуда ты взял SMS?»
Агент вежливо ответил: «Я посчитал это лучшей практикой».
С тех пор я проверяю всё, что генерирует агент. Особенно то, чего нет в реальности.
Кейс №2: AI-агент чинит автотесты
Это функция, за которую я готов петь оды. Self-healing (самовосстановление) тестов — реально работает.
Что получилось хорошо:
Разработчик поменял ID кнопки. Тест упал. Агент через 5 секунд нашёл новый локатор, обновил код, тест зелёный. Я даже не успел допить кофе.
Что пошло не так:
Локатор не менялся. Но агент решил, что нашёл «более оптимальный» вариант. Заменил стабильный CSS-селектор на что-то своё. Тест… упал. Пришлось откатывать.
С тех пор я знаю: если тест зелёный — не значит, что агент ничего не трогал. Иногда он чинит то, что и так работало. Добрый, но навязчивый.
Кейс №3: AI-агент анализирует логи
Тут агент показал себя настоящим детективом.
Что получилось хорошо:
За 5 секунд нашёл в многогигабайтном логе нужную ошибку, выделил стек, предложил вероятную причину. Я сэкономил час копания.
Что пошло не так:
В одном случае агент прочитал лог и выдал: «Похоже, сервер обиделся. Рекомендую извиниться и перезапустить».
Я до сих пор не знаю, шутил он или у него правда были основания так считать. Но в баг-трекере такое писать не стал.
Вывод: агент отлично находит ошибки, но иногда видит то, чего нет. Навык «отличить реальную проблему от галлюцинации» остаётся за человеком.
Где всё ещё болит: честный список проблем
- Галлюцинации. Придумывает несуществующие методы API, кнопки, требования. Проверять нужно всегда.
- Контекст. Агент не понимает бизнес-логику. Он может проверить, что кнопка нажимается, но не поймёт, что нажимать её 10 раз подряд — это плохо.
- Безопасность. Куда уходят ваши данные, когда вы даёте агенту доступ к коду и логам? Вопрос открытый.
- Цена. Хорошие агенты (Testin XAgent, Tricentis) стоят денег. И иногда заметных.
Вывод: AI не заменит, но переформатирует
AI-агент — это не замена QA, а стажёр, который работает 24/7, но иногда несёт чушь. Твоя задача — научиться им управлять и проверять результат.
Что теперь нужно уметь QA:
- Промптинг — формулировать задачи так, чтобы агент не улетал в фантазии.
- Проверка — критически оценивать результат, отличать полезное от вредного.
- Архитектура — понимать, что можно делегировать, а что лучше оставить человеку.
Если раньше QA был «ловителем багов», то теперь он становится архитектором качества — человеком, который управляет инструментами, включая AI.
А теперь вопрос к вам
Я честно рассказал, как AI-агенты сэкономили мне время, а потом заставили вернуться и всё перепроверить.
- Пробовали ли вы AI-агентов в работе? (Testin, Functionize, Copilot, любой другой)
- Какой самый смешной или странный результат выдавал ИИ?
- Считаете ли вы, что агенты скоро смогут полностью заменить QA на рутинных задачах?
Делитесь в комментариях. Интересно узнать, у кого стажёр уже научился не выдумывать кнопки 😄
P.S. Если хотите следующий пост с разбором конкретных промптов для AI-агентов — пишите, сделаем.