Нынешние эмпирические исследования проводились в качестве квази-эксперимента, так как не было возможности назначайте лечение обследуемым случайным образом [12]. В этом разделе сообщается об определении эксперимента, конструкция и настройки в соответствии с шаблонами и указаниями, приведенными в [12, 23].
6.1 Цель
Цель исследования - исследовать различия между предлагаемой средой (DTE) и классическим отладчиком Java Eclipse (EJD), чтобы оценить, эффективно ли он поддерживает задачи отладки и позволяет учащимся улучшить свою производительность (с точки зрения точности и эффективности при выполнении отладочных действий). Внимание к качеству сосредоточено на том, как DTE и EJD влияют на способность разработчиков корректно и эффективно отлаживать код. Для определения эксперимента мы использовали шаблон Goal-Question-Metric [3]. Цель определена следующим образом: "Проанализировать использование различных обучающих инструментов для оценки работы студентов, выполняющих отладочное задание в контексте курса программирования CS2".
6.2 Контекст
Студенты, участвующие в эксперименте, проходят курс программирования CS2 на степень бакалавра информатики в Университете Бари-Альдо-Моро в 2018 учебном году. Это обязательный курс для всех студентов второго курса по специальности "Инженерия вычислительной техники" в этом учебном заведении. Студенты должны сдать предыдущий курс CS1, чтобы записаться на этот курс CS2. Это гарантирует, что все студенты будут иметь одинаковую академическую подготовку. Кроме того, поскольку студенты могут иметь различные навыки и способности программирования, их просят ответить на анкету профилирования и принять участие в "тесте по первоначальной оценке навыков". В анкете-профилировании мы спрашивали студентов, какие экзамены они уже сдали и каков средний академический балл, который они получают в настоящее время. Так как мы заинтересованы в изучении влияния на эффективность и точность отладки после обучения по предметам с предложенной средой, в исследование были вовлечены только те студенты, у которых не было предыдущего опыта отладки. По этой причине все студенты, которые в начале эмпирического исследования уже прошли курс компьютерной лаборатории, в исследование не были вовлечены.
Этот курс - единственный, на первом курсе, где преподают отладку программного обеспечения. Это требование гарантирует, что все студенты имеют одинаковый опыт в отладке. На начальном оценочном тесте испытуемым предлагалось выполнить задания, состоящие из 10 упражнений по пониманию и разработке кода, чтобы убедиться в том, что они понимают концепции языка, необходимые для подхода к отладке. По результатам, полученным в этом тесте и в анкете-профилировке, предметы были разделены на две категории: высоко способные предметы - это те, кто уже имел опыт разработки программных систем, имеет средний академический балл не менее 25/30 и правильно выполнил не менее 50% заданий; остальные предметы, которые правильно выполнили не менее обязательной части задания (25% заданий), классифицируются как низко способные предметы. Остальные предметы исключены. В частности, были исключены те студенты, которые выполнили менее 25% заданий, потому что, по нашему мнению, их низкие способности к пониманию и развитию могли повлиять на результаты обучения. Наконец, важно уточнить, что для студентов, уже имеющих опыт разработки программных систем, мы имеем в виду тех, кто прошел как курсы CS1, так и курсы Язык программирования. В частности, 157 студентов были зачислены на курс CS2, проведенный в первом семестре 2018 года. Из этого набора, после первичного теста оценки навыков и анкеты профилирования, для участия в эксперименте было отобрано 104 студента.
Затем отобранные предметы были разбиты на четыре группы (каждая группа состоит из 26 студентов) с использованием информации о профилирующих и оценочных тестах:
-Низкий уровень DTE : студенты, классифицированные как предметы с низкими способностями, которые использовали DTE во всех лабораторных занятиях.
-Высокий уровень DTE : учащиеся, классифицированные как высокообразованные предметы, которые использовали DTE во всех лабораторных занятиях.
-Низкий уровень EJD : учащиеся, которые используют EJD во всех лабораторных занятиях.
-Высокий уровень EJD : учащиеся, которые применяют EJD на всех лабораторных занятиях.
Из этих групп была выведена одна DTE группа из 52 предметов, как объединение низких DTE и высоких DTE. Точно так же, одна группа из 52 испытуемых была выведена как объединение низко- и высоко способных испытуемых, которые использовали EJD во всей лабораторной деятельности. Кроме того, обе группы DTE и EJD содержат 40 мужских предметов (М) и 12 женских предметов (F), сбалансированных по уровню способностей.
Процесс рандомизации, использованный для построения групп, показан на Рисунке 4.
Экспериментальные объекты - это экзамены, которые студенты должны сдавать при зачислении на курс программирования. Экзамены были разработаны преподавательским составом предмета по программированию, и все студенты, зачисленные на этот предмет в семестр, сдавали одни и те же экзамены. Каждый студент должен был сдать восемь экзаменов: каждый экзамен состоял из отладочного задания, которое должно было быть выполнено на небольшой системе.