7.2 Гипотезы испытаний на работоспособность во время тренировок (H02 и H02)
Для проверки двух гипотез H02 и H02 мы сравнили результаты, полученные студентами в двух лабораториях (т.е. Лаборатории 2 и 3), где студенты Group DTE использовали DTE для решения задач отладки. Лаборатория 1 не рассматривается как позволяющий учащимся ознакомиться с окружающей средой и заданием. Цель состоит в том, чтобы выяснить, есть ли различия в производительности среди студентов, которые поддерживаются DTE во время выполнения задания в отношении студентов, использующих стандартный отладчик.
Описательная статистика, относящаяся к Лаборатории 2 и Лаборатории 3 (представленная в Таблице 3), показывает, что точность и эффективность отладки, полученную студентами, использовавшими DTE-среду в своих задачах (группа DTE) были выше, чем те, кто не использовал EJD (группа EJD).
На рисунке 7 показаны результаты, полученные GroupDTE и GroupEJD . Эти босспоты показывают успеваемость учащихся по времени и баллам. В обоих случаях учащиеся DTE в отношении EJD демонстрирует лучшую производительность (лучшие показатели и меньшее время исполнения).
В последней строке таблицы 4 приведены результаты выполненного t-теста, касающиеся как точности, так и эффективности отладки для групп GroupDTE и GroupEJD .
Это позволяет нам отвергнуть две нулевые гипотезы H02, поскольку влияние DTE при отладке значима с точки зрения улучшения по достигнутым показателям. Однако, размер улучшения, в том что касается эффективности (т.е. среднее время, необходимое для выполнения задачи) ограниченный (размер эффекта в данном случае мал).
7.3 Анализ со-факторов
Для краткости мы записываем в таблицу ANOVA, только p-значения. Для каждого рассмотренного со-фактора, мы вносим в таблицу 5 результаты двусторонней ANOVA точности и эффективности по следующим параметрам: обработка и со-фактор, для Марк 1 и Марк 2. Сначала мы анализируем способности испытуемых (высокие или низкие) и пол (мужской или женский). Мы можем заметить, что способности субъектов оказывают значительное влияние, в то время как пол - нет. Более того, оба со-фактора не взаимодействуют с увеличением основных факторов.
График взаимодействия на рисунке 8 (слева) показывает, что опытные испытуемые последовательно больше точны как с DTE, так и с EJD. Следовательно, нет существенного взаимодействия между способностями и обработкой.
Гендерный со-фактор не является существенным: это означает, что мужчина и женщина набрали одинаковые баллы использования времени для выполнения задач. Аналогичные результаты получены и для со-фактора неисправности: тип неисправности не влияет на производительность обработки и наоборот, эффект со-фактора окружающей среды является существенным: субъекты, использующие DTE, достигают лучших результатов: баллы и улучшенное время (согласованно с отклонением нулевых гипотез H02 и H02). Кроме того, существует также значительное взаимодействие между окружающей средой и обработкой: испытуемые DTE более эффективны, когда они используют DTE, по отношению к тем случаям, когда они не используют его. Это подтверждается на графике взаимодействия на рисунке 8 (справа).
7.4 Анализ анкетного опроса по почте
Мы проанализировали (тест Мэнна Уитни на нулевую гипотезу: медиана(Qx)<=0 ответов на сообщение, создали анкету для понимания того, как испытуемые воспринимали каждую лабораторию и весь эксперимент в целом процесс. Учитывая данные за все сессии, ответы на вопросы Q1, Q3, Q4 и Q5 следующие статистически значимые (р-значение < 0,05). Что касается второго квартала, то мы заметили, что несколько студентов не отвечают на вопросы. По этой причине, даже если отчеты DTE в основном считаются полезными, ответ на этот вопрос не дал существенных результатов (р-значение Q2 = 0,12). Почти все субъекты сочли данное время недостаточным для выполнения всех заданий. Субъекты считали задания четко сформулированными и, в целом, у них не возникало трудностей с пониманием исходного кода, теста, и частей предоставляемой системы).
