6.3 Формулировка гипотез
Мы можем сформулировать следующие нулевые гипотезы для проверки:
-H01: Нет разницы в точности отладочных заданий между студентами, у которых есть навык выполнять отладку с помощью DTE или EJD.
-H01: Нет разницы в эффективности отладочных заданий между студентами, у которых есть навык выполнять отладку с помощью DTE или EJD.
-H02: Нет разницы в точности отладочных задач, когда они поддерживаются в выполнение задачи либо DTE, либо EJD.
-H02: Нет разницы в эффективности отладочных задач, когда они поддерживаются в выполнении задачи либо DTE, либо EJD.
Важно пояснить, что DTE является вспомогательным инструментом, который может быть использован учителем только для обучение во время курса. По этой причине она должна быть оценена, измеряя эффект на студентах. Для этой цели мы рассматриваем гипотезы H01 и H01.
Однако, также интересно и целесообразно выяснить, есть ли разница в производительности у студентов, использующих DTE или EJD для выполнения аналогичной отладочной задачи. Это было бы подтверждением, что руководство ЭПЗ эффективно, позволяя учащимся воспроизводить процесс выявления ошибок, а именно достаточно похожее на то, что было сделано исправителем, когда он обнаружил ошибку. Для этой цели мы рассмотрим гипотезы H02 и H02.
Наконец, стоит подчеркнуть, что у нас нет никаких предварительных знаний об ожидаемых трендах которые должны благоприятствовать либо DTE, либо EJD при выполнении отладочной задачи. Действительно, с одной стороны, DTE указывает многообещающие пути, по которым следует идти, в то время как EJD не дает никаких указаний. Но, с другой стороны, предложения DTE могут быть слишком сложными для понимания студента который все еще находится в процессе разработки метода для выдвижения гипотез и определения последующего условия точек остановы для их подтверждения или опровержения. По этим причинам, вышеприведенные гипотезы обе двухсторонние.
6.4 Выбор переменных
У нас есть две зависимые переменные: точность отладки и эффективность отладки. Для измерения этих переменных, при каждом присваивании мы просили субъектов исправить ошибку в объектно-ориентированном системном источнике Кода. Мы определили неисправности, которые удовлетворяют следующим требованиям:
(1) они находятся в различных частях приложений;
(2) они связаны исключительно с языковыми аспектами и технологиями, охватываемыми курсом;
(3) они не взаимодействуют: различные дефекты выявляются при помощи одного тестового случая и каждое задание связано с одной неисправностью;
(4) они адаптированы из набора данных дефекта 4j [41] или тщательно разработаны инструктором;
(5) они имеют эквивалентные сложности по отношению к результирующим задачам отладки;
(6) они могут быть исправлены с использованием имеющегося времени.
Когда дефект был выявлен в нескольких тестовых случаях для данного дефекта, мы выбрали лучший тестовый случай для использования в исследовании. В наших экспериментах точность отладки измеряется посредством счёта между 0 и 10. В этом контексте нулевая оценка означает, что ошибка не была найдена. Старшие лекторы, участвовавшие в анализе оценок, объективно оценили точность и правильность исправления путем сравнения решения с оригинальным исправлением в наборе данных, глядя не только на ответы, данные студентами, а также процесс, которому они следовали, и аргументацию, повлиявшую на их основной выбор. Чтобы уменьшить предвзятость использования одного старшего лектора, были наняты четыре лектора. По задаче оценки и окончательные результаты были рассчитаны как среднее из полученных баллов ими. Эффективность отладки оценивается как общее количество времени, потраченное на них задач (измеряется в минутах), независимой переменной (основным фактором эксперимента) является обработка во время выполнения отладочных задач. Две альтернативные обработки следующие:
(1) DTE, для субъектов, использующих подсказки, созданные DTE в дополнение к отладчику Eclipse; и
(2) EJD, для субъектов, использующих только простой отладчик Eclipse.