6.5 Идентификация со-факторов
Мы измерили следующие со-факторы, которые могут влиять на зависимые переменные:
(1) Способность испытуемых: способность испытуемых измерялась с помощью оценочного теста и анкета профилирования. Важно посмотреть, взаимодействует ли он с основным фактором.
(2) Пол субъектов: пол субъектов может взаимодействовать с основным фактором.
(3) Окружение, в котором проводятся эксперименты: во время первого занятия испытуемые могли бы приложить определенные усилия для ознакомления с экспериментальной средой. Мы измерили, оказывает ли какой-нибудь обучающий эффект между лабораториями.
(4) Неисправность, подлежащая устранению: поскольку все неисправности различны, то специфические особенности устраняемой неисправности может взаимодействовать с основным фактором.
Для каждого со-фактора мы проверяем, есть ли влияние на точность отладки и эффективность отладки, и проверяем их взаимодействие с основным фактором. Формулируем следующий ноль гипотезы о со-факторах:
H0ci = со-фактор Ci, i=1 . . . 4, не взаимодействует существенно с основным фактором, чтобы влияют на точность и эффективность выполнения отладочных задач,
H1ci = ¬H0ci.
Кроме того, в данном случае вышеуказанные нулевые гипотезы являются двунаправленными, так как мы не имеем предварительных знаний о том, в каком направлении тот или иной со-фактор может повлиять на точность и эффективность работы.
6.6 Экспериментальное проектирование
Предлагаемый квази-эксперимент представляет собой проектирование между объектами: этот выбор заключается в том, чтобы свести к минимуму обучение и переход от одного предмета к другому (сохраняя разделение на контрольные и лечебные группы). Структура квази-эксперимента представлена в таблице 1.
6.6.1 Назначение субъектов.
Участники распределяются случайным образом по условиям, чтобы распределение предметов не влияло на результаты исследования. Что касается пола, то и группы DTE, и группы EJD содержало 40 мужских предметов (М) и 12 женских предметов (F), сбалансированных по уровню способностей. Это позволяет исследование влияния гендерной переменной для всех гипотез на две контрольные группы, каждый из них состоял из 12 мужских предметов и 12 женских предметов, сбалансированных по способностям (50% предметов) были субъектами с низкими способностями (L) и 50% были субъектами с высокими способностями (H). Более того, так как система (и связанный с ней дефект) могли взаимодействовать с основным фактором, мы решили использовать более широкий спектр систем, разделяющих как GroupDTE, так и GroupEJD на две отдельные группы, соответственно, Группа 1 и Группа 2 для GroupDTE и Группа 3 и Группа 4 для GroupEJD. Все эти Группы состояли из 20 мужчин и 6 женщин, сбалансированных по способностям.
6.6.2 Экспериментальные сессии.
Эксперимент структурирован как последовательность из восьми отлаживаний сессии (Марк 1, Лаборатория 1, ... , Лаборатория 6, Марк 2). Марк 1 и Марк 2 являются, соответственно, предварительным тестом и пост-тестовые сессии отладки: в этих сессиях все студенты используют EJD. В других сессиях, студенты GroupDTE использовали DTE, в то время как студенты GroupEJD использовали EJD. Во время занятий назначаются различные программные системы Java (S1, ... , S8), что позволяет каждой группе выполнять отладку по одному разу на каждой системе (сообщается о сопоставлении между группами, системами и сессиями в строках таблицы).
6.6.3 Проектирование структуры.
На рисунке 5 показана общая структура данного исследования. Когда Начинается сессия Марк 1, студенты никогда не пользовались DTE. Последовательно, когда эксперимент заканчивается, проводится послетестовый сеанс (отметка 2). В начале этого сеанса 52 ученика использовали DTE в предыдущих шести сеансах отладки (Лаборатория 1, Лаборатория 2, Лаборатория 3, Лаборатория 4, Лаборатория 5, Лаборатория 6), в то время как другие 52 студента использовали EJD.
Как видно из таблицы 1, сеансы на Марке 1 и Марке 2 используются для исследования двух гипотез H01. Две гипотезы H02, вместо этого, оцениваются на основе полученных результатов для Лаборатории 2 и Лаборатории 3. Наконец, анализ со-факторов был выполнен на Марке 1 и Марке 2 сессий.
Мотивы этих решений лежат в основе целей, лежащих в основе двух гипотез. Для H01 мы хотим выяснить, влияет ли среда DTE на возможности отладки учеников после того, как они обучены. По этой причине мы оцениваем класс на предварительном тестировании (Марк 1) и пост-тест (отметка 2), где в обоих случаях учащиеся используют стандартные инструменты. Следовательно, лечение для H01 представлен всеми лабораториями, выполняемыми GroupDT E при использовании DTE (следовательно, от Лаборатории 1 до Лаборатория 6, за исключением Марка 1 и Марка 2).
Для H02 целью является исследование того, улучшает ли DTE-среда производительность разработчиков которые не были обучены использованию DTE, во время отладки. В этом случае мы хотим избежать обучающий эффект от обучения с использованием DTE, так как это привнесло бы позитивную предвзятость. По этой причине, после Лаборатория 1, в которой инструкторы впервые показывают участникам, как использовать функции DTE, мы исследовать гипотезу H02 с помощью двух лабораторий, для которых обучающий эффект все еще пренебрежимо мал (Лаборатория 2 и Лаборатория 3).
Повторное использование ошибочного исходного кода... 6. Определение и планирование эксперимента. 6.7.