Исследовательская среда и исследования
Это был крупномасштабный проект, в рамках которого были собраны как формативные, так и суммативные данные в самых разных местах. Прежде чем рассматривать конкретные использованные методы, полезно уточнить, где и как проводились.
Мыслительные центры
В Лаборатории обучающих игр исследователи использовали центры игрового дизайна, где ученики средних школ использовали игры в процессе проектирования. Исследователи проводили интервью, наблюдения и фокус-группы. Кроме того, студенты использовали видеодомофон для обеспечения индивидуальной обратной связи. В рамках программы "Математические закуски" молодые "консультанты" 5-8 классов принимали участие в летних занятиях, а вернувшиеся "эксперты" принимали участие в течение всего учебного года. Поскольку летом мозговые центры появлялись почти каждую неделю, разработчики могли тестировать продукты вместе с детьми на протяжении всего процесса разработки. Это позволяет чаще проводить пользовательское тестирование на более ранних стадиях разработки игры, чем это часто бывает с другими пользовательскими стратегиями тестирования.
Продукты Math Snacks тестировались на протяжении всей разработки: от раннего формирования концепции (консультанты просматривали повествовательные раскадровки, наброски ранних персонажей и даже отзывы о потенциальных играх и темах), до тестирования удобства использования и балансировки финальной игры. Подробный процесс и документация означали, что исследователи могли определить, какие учащиеся видели игры, в какой момент привлечь новых учащихся, когда это было необходимо, или проверить конкретные проблемы с повторными консультантами. Нередки случаи, когда игра проходила 40 и более различных тестов в Лаборатории обучающих игр.
Классы
В течение всего проекта исследователи тратили время на сбор данных посредством классных наблюдений. В течение 1-го и 2-го классов проекта набирались консультанты по преподаванию математики, и им было предложено использовать продукты Math Snacks на этапе разработки, чтобы разработчики и исследователи могли наблюдать за использованием этих инструментов в реальных условиях. В ходе этих занятий исследователи наблюдали за тем, как студенты пытались ответить на конкретные вопросы в руководстве по работе с учащимися и даже обнаружили ошибки в играх, которые не были очевидны, когда играли небольшие группы. В ходе пилотного исследования и заключительных исследований результаты классных наблюдений использовались для определения точности выполнения, учета взаимодействия учащихся с материалами Math Snacks. Эти наблюдения также имели решающее значение для поддержки других форм сбора данных, таких как количественные данные об игровом процессе. Например, во время последнего занятия по играм были определенные классы, в которых отсутствовали игровые данные для некоторых учеников, даже если они участвовали во всех тестировальных сессиях. При изучении данных наблюдений выяснилось, что ученики играют в игры парами, и только один ученик заходит на компьютер, поэтому единственной записью этих учеников, играющих в игры, являются наблюдения.
Несмотря на то, что лагеря математических закусок развивались на основе отзывов как учащихся, так и учителей, общая структура осталась прежней. Ключевые элементы каждого лагеря включали четыре компонента:
- Учителя работали в командах по двое: Учителя встречались за 4-6 недель до начала каждого лагеря и получали по 1-2 закуски по математике в зависимости от того, что было разработано и что необходимо проверить. Этим учителям была предоставлена свобода разрабатывать задания, которые дополняли бы математику, изучаемую в рамках программы "Математические закуски".
- Преподаватели работали с учащимися в классной обстановке: В каждом лагере ученики были разделены на группы по 10-15 человек в зависимости от возраста. В первые 2 года работы лагеря команды преподавателей проводили каждый день с одной и той же группой студентов и концентрировались на конкретных концепциях. В 3 и 4 классах каждый учитель представлял свои уроки нескольким группам учеников, используя модель средней школы. Этот сдвиг позволил исследовательской группе наблюдать, как несколько групп студентов взаимодействуют с одними и теми же материалами, а студенты подвергаются воздействию нескольких закусок по математике.
- Ежедневно проводятся брифинги для учителей и исследователей: После того, как учеников уволили на день, учителя оставались еще 2 часа, чтобы отчитаться о ежедневных занятиях. Преподаватели и исследователи поделились своими наблюдениями, и команды работали вместе, чтобы изменить уроки на следующий день.
- Учителя разрабатывали материалы интерактивно по всему лагерю : Лагеря дали учителям возможность разработать дополнительные классные учебные мероприятия для игр и анимации "Математические закуски", а также протестировать и усовершенствовать эти мероприятия, разработанные группой разработчиков. Члены исследовательской группы и преподаватели имели возможность наблюдать за уроками и предоставлять обратную связь на всей территории лагеря. Результатом этого процесса стали уроки в классе и исследовательские мероприятия, разработанные учителями, протестированные в классе и усовершенствованные на основе обратной связи.
Пилотное исследование
В 2012 году было проведено пилотное исследование с целью подтверждения правильности показателя обучения математике. Девять учителей и их учеников (225 учеников шестого и 125 учеников седьмого классов) были случайным образом распределены в одну из двух групп: группа уроков по сценарию и группа открытого урока. Обеим группам учителей было предложено провести шесть уроков математики за один и тот же 6-недельный период времени. Учителя в группе открытого урока были просто направлены на сайт Math Snacks, чтобы найти подходящие вспомогательные материалы для учителей. Инструменты, использованные в ходе данного исследования, включали в себя: (1) показатель обучения математике, который был предоставлен учащимся в качестве предварительного теста и последующего теста для измерения результатов обучения; (2) наблюдения; и (3) обследования учителей.
Анимационное исследование оценивало влияние анимации "Математические закуски" и одной игры (Pearl Diver, которая была включена в качестве бонусной активности, поскольку была идеально интегрирована с анимацией, Number Rights). Осенью 2012 года 41 учитель шестого класса был принят на работу из различных школьных округов.
Учителя были распределены по двум группам с использованием метода стратифицированной случайной выборки. Экспериментальная группа интегрировала анимацию "Математические закуски" в существующие утвержденные в округе учебные планы, а контрольная группа использовала только утвержденный в округе учебный план за тот же период времени для преподавания целевых концепций соотношения, пропорции, масштабного фактора и числовой линии.
В ходе данного исследования были собраны различные типы данных. Всем учащимся была предоставлена мера математического обучения и мера самоэффективности до поступления. Преподаватели в экспериментальной группе проводили один из уроков по математике и заполняли опрос после каждого урока математики. Хотя исследовательская группа собрала некоторую ценную информацию, ее результаты были ограниченными в связи с разработкой исследования.
Изучение математических закусок основано на уроках, извлеченных из исследования "Анимация". Во-первых, в некоторых округах шестиклассные классы были автономными в начальной школе, а в других округах шестиклассные классы находились в средней школе. Во-вторых, карты учебных планов варьировались в зависимости от района, что требовало от учителей внесения изменений. В-третьих, план исследования включал только один интервал лечения. В-четвертых, наблюдения были сделаны только с учителями-экспериментаторами для измерения точности выполнения.
Исследовательская группа решила, что изучение математических закусок должно проводиться в одном школьном округе, чтобы устранить различия в школьной среде; обеспечить, чтобы каждый учитель придерживался одной и той же учебной карты; сохраняя при этом доступ к различным группам учащихся и учителей. Занятия проводились в одной из двух групп с использованием стратифицированной случайной выборки: 25 классов в группе А и 25 классов в группе В, в которых обучалось более 800 человек. В итоге 741 студент завершил обучение, и два класса были исключены из группы В за то, что не выполнили задания.
В дополнение к изменению класса, исследовательская группа также хотела, чтобы все классы имели доступ к закускам по математике для того, чтобы уменьшить влияние стиля преподавания учителя как переменной величины. Модель отсроченного вмешательства использовалась, когда учителей в группе А попросили использовать четыре протокола плана уроков в течение первых пяти недель, в то время как учителя в группе В придерживались традиционной школьной программы по математике. Во второй 5-недельный период учителя в группе В использовали инструменты и протоколы "Математические закуски", в то время как учителя в группе А вернулись к школьной программе. Каждый протокол занятий включал 30-минутную игровую сессию с групповой дискуссией, практическое занятие, связанное с игровым процессом, и вторую игровую сессию с заключительной дискуссией, общая продолжительность которой составляла 90 минут на урок. Учителя и ученики в группе А имели полный доступ к инструментам "Математические закуски" в течение этого второго пятинедельного периода, но закуски по математике в то время не были частью обучения в классе. Встроенные данные показали, что учащиеся играли в игры вне класса, но не в той степени, в какой они играли во время первоначального вмешательства.
Рекомендации
Хотя у команды Math Snacks был определенный исследовательский протокол, необходимо было адаптировать план исследования с учетом обстоятельств и возможностей для новых методов сбора данных. Проанализировав изменения в течение всего проекта, команда сделает следующие рекомендации для масштабных многолетних исследовательских и опытно-конструкторских проектов.