Расскажу сегодня о своем опыте приемочного тестирования.
Я работаю в аутсорсинговой компании, и моя команда работает над приложением для большой госструктуры. Полгода мы готовили новую фичу и сейчас ее должны релизнуть в прод. Но, так как это крупный госзаказчик, этап приемки новых доработок у них - это достаточно долгая, формальная процедура.
Сначала они проводили испытания безопасности, потом нагрузочное тестирование, и, наконец, была проведена опытная эксплуатация на их внутренних тестовых стендах.По ходу этих тестирований у заказчика возникали разные замечания, которые вписывались в протоколы (формальные документы - приложения к приемке). Часть замечаний мы устранили, часть вынесли в отдельные доработки (в зависимости от согласованных требований).
После этого были назначены дни приемки. Приемка проходила на территории заказчика на их внутреннем тестовом контуре. От нашей команды было 3 человека: главный аналитик, менеджер проекта и тестировщик (это я).В специальном документе были прописаны приемочные тестовые сценарии, которые необходимо было продемонстрировать.Мы собрались с заказчиком в большом конференц-зале, к встрече также подключились сотрудники из других департаментов. С одного из компьютеров была выведена демонстрация в видеоконференцию.
Первые пару кейсов представитель заказчика тыкал сам, а потом они просто передали мне компьютер и сказали: "Продолжайте". Если честно, я не готова была к этому, так как коллеги говорили мне, что, скорее всего, мне ничего делать не придется))
И хоть я продолжила, однако кейсы они все равно мне накидывали свои, которые немного отличались от приемочных, и в некоторых неожиданных местах возникали ошибки. Если честно, это было очень стремно и я просто не знала, что нужно говорить в такие моменты. Мои коллеги также занимали молчаливую позицию. Как оказалось позже, в нашей команде была текучка тестировщиков и никто толком не знал, как будет проходить приемка, поэтому мои коллеги меня особо не подготовили к этому процессу.
По итогу приемки было выявлено около 10 замечаний, которые были внесены в протокол и отправлены на устранение подрядчиком, то есть нами. Через несколько дней мы устранили замечания и собрались еще раз для демонстрации результата.
В этот раз я подготовилась основательно. Собрала все замечания в несколько полноценных сценариев и настойчиво шла только по ним. Если заказчик просил посмотреть что-то еще, я предлагала закончить кейс и посмотреть это уже на следующем примере, тем самым у меня было время сообразить, как это красиво показать. По итогу последней встречи все фиксы были приняты заказчиком и акт приемки доработок ушел на подписание приемочной комиссией. А на прод был запланирован релиз.
Итак, какой же вывод можно сделать по итогу участия в таком мероприятии. Исчерпывающее тестирование невозможно - какие-нибудь ошибки вылезут (это я и так знала). Но, когда ты работаешь с внешним заказчиком (сторонней организацией), вопрос дедлайнов может стоять настолько остро, что приходится идти на приемку с заведомо известными дефектами и стараться их обойти на приемке. В нашем случае несколько дефектов были известны нам заранее, но мы просто не успели их исправить. Мне этот подход совсем не близок, но, видимо, мне, как тестировщику, нужно освоить и навык демонстрации доработок, обходя дефектные места. Пока я его оцениваю как 1 из 10, потому что все мое нутро активно сопротивляется игнорированию и замалчиванию ошибок.
Также участие в приемочном тестировании помогло мне понять, что на самом деле больше всего беспокоило заказчика и почему в одних кейсах они закрывали глаза на недочеты, а в других зависали на часовое обсуждение. Как оказалось, мое понимание пользовательских сценариев было не совсем верным. Спецификация спецификацией, но мне сразу стало ясно, какие места (не указанные в спецификации) были протестированы нами не достаточно хорошо. И в целом мне открылись и сами места в спецификации, где были допущены логические ошибки. В связи с чем и реализация самих доработок где-то ломала базовые пользовательские сценарии.
Согласование этих спецификаций и основная разработка по этому функционалу проводилась еще до того, как я пришла в компанию. Я попала только на финальное тестирование. Поэтому не могу сказать, что чувствую большую вину за те "слабые места" в приложении. Однако, на мой взгляд, аналитики и тестировщики должны ловить такие вещи намного раньше. Также я понимаю, что написанные тест-кейсы на доработку были весьма далеки от идеальных, в связи с чем некоторые сценарии проверены вообще нами не были.
Все вышесказанное - это повод поработать над процессами и учесть эти ошибки в будущих доработках. Сейчас у нас уже ведется разработка следующего функционала и я принимаю непосредственное участие в написании тест-кейсов и тестировании требований. Поэтому опыт участия в приемочном тестировании считаю для себя положительным и полезным для улучшения тестирования в конкретно этом проекте.