Техника попарного тестирования известна также как Pairwise, англоязычный вариант встречается даже чаще. Эта техника, как и многие другие, используется при тестировании программных модулей методом черного ящика. Почему нельзя тестировать методом черного ящика без специальных методик? Рассмотрим этот вопрос подробнее.
Метод черного ящика используется на всех стадиях тестирования программного продукта: модульном, интеграционном, системном и приемочном тестировании:
- В модульном тестировании это черный ящик минимального размера, с одним входом и одним выходом.
- В интеграционном тестировании количество входных и выходных потоков данных определяется количеством модулей, связанных между собой, ящик становится больше, в зависимости от количества тестируемых модулей.
- В системном тестировании количество входных и выходных потоков будет максимальным, в соответствии с количеством связей в самой системе, ящик также будет максимального размера.
- В приемочном тестировании количество входных и выходных потоков будет соответствовать количеству вводимых пользователем данных и результатов, получаемых после выполнения запрашиваемых функций или пользовательского сценария.
Недостатки метода. В данном методе нельзя определить, был ли весь программный код покрыт тестами, вся ли фактически реализованная функциональность была проверена. Можно проверить только соответствие функциональности требованиям.
Проверить все значения невозможно, поэтому используют специальные техники тест-дизайна, уменьшающие количество проводимых тестов без потери качества.
По данным практики тестирования, наибольшее количество дефектов находят при комбинации двух параметров. Так появилась техника попарного тестирования. Тестовые сценарии, разрабатываемые в технике попарного тестирования, позволяют выполнить все возможные комбинации каждой пары входных параметров.
Техники попарного тестирования подразделяются на следующие подвиды:
- с использованием ортогонального массива - количество проверяемых комбинаций значений уменьшается за счет однократной проверки пар значений;
- с использованием алгоритма всех пар - комбинаторной методики
all pairs, специально созданной для попарного тестирования: вначале создается ортогональный массив, как в предыдущем методе, затем из него исключаются все повторяющиеся сочетания значений параметров, что значительно сокращает количество вариантов.
Вывод: необходимость использования техники попарного тестирования вызвана двумя факторами: большим количеством данных и невозможностью проверки всей функциональности методом черного ящика, т.е. без знания программного кода.