Модели тестирования ориентированные на понимание исследований
Тестирование тесно связано с проектными работами, используется для различных целей, и несколько факторов влияют на то, как тестирование разворачивается в процессе разработки. Рассмотрим роль тестирования в некоторых устоявшихся моделях проектирования и разработки. Хотя ряд математических и имитационных моделей учитывают некоторые аспекты тестирования, сложности самого процесса не подчеркиваются в основных процедурных моделях проектирования и разработки.
1. Такая модель предлагает понимание исследования, относящегося к тестированию через обсуждение связанных проблем, таких как обзор проекта. Например, разрабатывают модель для изучения оптимальных сроков рассмотрения проекта в параллельном процессе.
Считается, что преимущества частых проверок состоят в том, что они обеспечивают параллелизм, позволяя публиковать информацию о дизайне, в то же время выявляя недостатки дизайна, поэтому они не приводят к ненужным потерям.
В то же время частые проверки увеличивают затраты, связанные с их установкой и выполнением. Оптимальное время проверки зависит от того, доминируют ли проблемы параллелизма или качества.
2. Расширенная модель рассматривает вопрос о том, как распределяется ресурс на разных этапах проектирования. В этом случае модель используется для рассмотрения того, как следует планировать проверки с целью минимизации риска пропуска целей.
Выводы для обзоров дизайна также применимы к тестам, учитывая уровень разрешения этих моделей. Также генерируя модель, которая устанавливается в контексте тестирования, но без подробного обсуждения конкретных деталей тестов, разработка модели продукта в виде цикла генерации-тестирования, ориентируясь на ситуацию, в которой ряд групп разработчиков подсистем постоянно предоставляют информацию группе системного уровня, отвечающей за интеграцию и тестирование всей системы.
Считается, что команда системного уровня предоставляет обратную связь командам подсистем о том, насколько хорошо их проекты работают вместе, но только периодически, из-за времени, необходимого для завершения испытаний, а также из-за других факторов.
Посредством моделирования можно придти к выводу , что увеличение задержек между созданием проекта и выпуском результатов теста или снижение качества результатов теста не только приводит к большему количеству переделок для команд подсистем, но также может вызвать отток в общем процессе (ситуация, в которой возникают проблемы генерируются так быстро или быстрее, чем они могут быть решены).
Установлено в контексте , что происходит более четкое сосредоточение на тестировании, учитывая, когда тестирование проектных альтернатив должно проводиться параллельно (согласно SBCE), обеспечивая быструю сходимость к решению, или последовательно, что позволяет учиться на каждом тесте, чтобы информировать следующий в процессе итеративное улучшение.
3. Такая модель показывает, что параллельное тестирование наиболее полезно, если стоимость тестов низка или время, необходимое для завершения каждого теста, является значительным, и если тесты эффективны в раскрытии информации о проектах. Можно утверждать, что сходство тестируемых вариантов конструкции влияет на оптимальный график испытаний.
Далее, учитывая различную эффективность тестов, разработать алгебраическую модель для оптимизации сроков и точности тестов при разработке продукта, учитывая, что основная роль тестирования заключается в создании информации о недостатках проектирования, которые влияют на технические требования или потребности клиентов.
Они сосредоточены на балансе между затратами на добавление большего количества тестов на ранних этапах процесса разработки и преимуществами переделок, которых можно избежать.
Высокоточные тесты более дороги и требуют много времени для запуска, но также могут выявить больше информации. На основании этого можно сделать вывод, что общие преимущества частого тестирования увеличиваются, если объем тестов может перекрываться, так что последовательные тесты поддерживают друг друга.
4. Разработана другая модель для оптимизации объема тестирования на каждом из двух перекрывающихся этапов создания продукта. Считается, что каждый этап включает в себя период разработки, за которым следует период тестирования, в котором недостатки проекта выявляются и исправляются.
Предполагается, что, как только завершится часть разработки на первом этапе , информация о проекте может быть передана на следующий этап . Затем последующая работа может начаться одновременно с вышестоящим тестированием.
Однако, вероятно целесообразно подождать до завершения какого-либо тестирования, поскольку это позволяет обнаружить некоторые недостатки, прежде чем они будут встроены в последующую работу, тем самым сокращая объем переделок.
5. Сформулирована математическая модель для определения оптимального объема тестирования на этапах выше и ниже, а также количества перекрытий, с учетом затрат на тестирование, затрат на исправление ошибок и скорости, с которой тестирование может выявить недостатки проектирования. Считается, что скорость обнаружения недостатков экспоненциально уменьшается по мере продолжения испытаний.
В целом, математические и имитационные модели, рассмотренные выше, подчеркивают важность
- хронометража
- точности
- количества испытаний в процессе
- зависимость от различных факторов конкретной ситуации
Тем не менее, модели, вероятно, ориентированы на формирование исследовательской проницательности и не обеспечивают поддержку или руководство для конкретных ситуаций.
Модели тестирования, ориентированные на поддержку практиков
Эти модели направлены на обеспечение поддержки принятия решений о тестировании, позволяя практикам моделировать и анализировать свою конкретную ситуацию.
1. Модель, в которой для проектирования требуется ряд мероприятий VVT, основанных на требованиях. Каждое из этих действий может быть выполнено одним или несколькими методами VVT, выбранными из следующего: проверка путем сравнения с аналогичным дизайном;
проверка с помощью анализа / моделирования (т. е. тестирование в вычислительной среде); проверка с помощью физического испытания (т. е. испытания в лабораторных условиях); проверка демонстрацией (т. е. тестирование в ситуации, которая имитирует контекст использования); и проверка путем непосредственного изучения свойств, таких как вес.
2. Сформулирована оптимизационная модель, чтобы помочь в выборе наилучшей комбинации и количества методов VVT, которые следует использовать, учитывая ограничения максимально допустимой стоимости и риска. Дополняется подход более всеобъемлющей процедурой получения знаний и применяется к конкретному исследованию с многообещающей обратной связью.
Необходимо уделять больше внимания выявлению рисков, которых VVT намеревается избежать идеальная стратегия VVT сильно зависит от контекста проекта (например, количества произведенных единиц).
3. Разработан метод планирования тестирования, где сосредоточено внимание на необходимости систематического генерирования и определения приоритетов тестовой деятельности после изменения дизайна продукта, который может быть собран в различных конфигурациях.
Ключевой вопрос заключается в том, что режимы возможных отказов различаются в зависимости от имеющейся конфигурации. Метод начинается с идентификации требований, в отношении которых должен быть проверен измененный дизайн, и сопоставления этих требований с элементами проекта.
Чтобы идентифицировать тестовые действия, необходимые для проверки проекта после изменения, идентифицируется элемент, с которого инициируется изменение, и другие, которые могут быть вовлечены в распространение изменения.
Все возможные конфигурации сборки для этих элементов перечислены с учетом возможных вариантов каждого элемента и возможных поставщиков каждого варианта.
Оттуда, требования, на которые влияет изменение, и, следовательно, рекомендуемые тестовые действия. Затем тесты упорядочиваются в порядке приоритета с использованием номера приоритетов в стиле FMEA, называемого индексом сложности проверки.
4. Следующий метод фокусируются на контексте системных систем (SoS) и утверждают, что для тестирования SoS следует сосредоточить внимание на наиболее важных взаимодействиях между составляющими его системами, а также на тестировании систем по отдельности.
Метод предполагает, что эти критические взаимодействия могут быть идентифицированы путем отображения информационных потоков между системами в DSM и поиска сильно связанных кластеров. После того, как критические взаимодействия станут известны, следует тщательно разработать набор тестов, используя методологию проектирования экспериментов для их эффективного решения.
5. Вышеперечисленные методы можно собрать воедино и использовать как сборник действий и методов VVT, расширяя дискуссию от тестирования в проектировании и разработке систем до тестирования, которое реализуется на протяжении жизненного цикла систем.
Модель процесса, предоставляет метод выбора мероприятий VVT, которые должны быть оптимально предприняты на каждой стадии процесса (называемой стратегией VVT). В этом методе затраты на деятельность VVT на каждом этапе сбалансированы с предотвращением влияния риска путем выбора наилучшего варианта из моделирования альтернатив.
6. Практически была разработана имитационная модель дискретного события, называемая Adaptive Test Process (ATP), которая получила дальнейшее развитие в Lévárdy and Browning. Ее авторы сосредотачиваются на роли V & V деятельности в уменьшении технической неопределенности относительно рабочих параметров проекта.
Отметив, что тесты могут проводиться в разных точках проекта и использовать разные режимы в зависимости от информации, доступной на тот момент, они разрабатывают модель для оптимизации размещения тестовых и проектных работ в проекте. Суть модели заключается в том, что каждое действие должно выбираться динамически, когда это позволяет состояние проекта, с учетом максимизации добавленной стоимости на следующем этапе.
7. Tahera фокусируется на совмещении тестирования с последующими проектными работами, он разработал симуляцию с использованием модели Applied Signposting Model , чтобы исследовать оптимальный способ организации перекрытия.
И пришел к выводу, что виртуальное тестирование должно проводиться одновременно с физическим тестированием, чтобы предварительные результаты последнего можно было использовать для калибровки первого, тем самым позволяя публиковать более точные предварительные результаты в последующем проекте.
Все вышеперечисленное наглядно демонстрирует что особенности контекста дизайна признаны важными для определения идеальной стратегии тестирования, но не решают многих вопросов возникающих в процессе проектирования и разработки.