Использование множественных подходов
Хотя первоначально группа планировала использовать как формативные, так и суммативные методы, масштаб каждого из них значительно вырос, и результаты этих расширенных методов помогли получить полную картину данных. Помимо простого сочетания формативной и суммативной оценки, исследования в данном исследовании были усилены за счет использования различных подходов к оценке одного и того же вмешательства: наблюдения могут усилить количественные данные, самоотчетные исследования могут подтвердить встроенные данные игрового процесса, а тесты могут подтвердить рекомендации целевых групп. В ходе этого исследования исследователи использовали различные подходы и проанализировали данные из различных источников для выявления тенденций, непредвиденны.
Безопасность субъектов и проведение исследований
Пожалуй, наиболее значительным изменением стало увеличение числа наблюдений, обследований, групп и других используемых показателей. Проведение формативных исследований стало возможным благодаря тому, что команда смогла получить доступ к учителям и ученикам благодаря мероприятиям Лаборатории обучающих игр, лагерей математических закусок и кабинетов Учительских Советников.
Взаимоотношения со школьными округами-партнерами со временем укреплялись и имели решающее значение в процессе разработки и тестирования. В ходе разработки, когда исследователи ставили под сомнение стратегию, потенциальное воздействие или возможное использование этих инструментов, они могли проводить тестирование совместно с учащимися и преподавателями в неформальной обстановке и в классах. Поскольку разработчики ставили под сомнение конкретные вопросы дизайна, они всегда могли "довести их до сведения студентов". Когда вы открываете доступ к субъектам, формативное исследование легче, требует меньшего планирования и может быть гораздо более восприимчивым к выявленным потребностям. Все темы согласовывались при наборе персонала, с тем чтобы любые выводы можно было включать в публикации.
Поощрение итеративного развития
Значительным преимуществом частой формативной оценки является влияние, которое она оказывает на итеративное развитие. При частом тестировании разработчики могут тестировать небольшие детали за раз, внося изменения, а затем проводить повторные тесты. Лаборатория обучающих игр широко использует это формативное тестирование при разработке игр, но команда разработчиков закусок по математике использовала его при разработке дополнительных средств обучения и создании вспомогательных материалов для учителей. Преподавателям была предоставлена возможность итеративно разрабатывать сопутствующие занятия и учебные пособия в лагерях математических закусок.
Они также создали свой собственный план уроков по использованию игр, а затем протестировали его вместе со своими учениками. Разработчики игры использовали обратную связь от учителей для модификации отдельных аспектов игры, которые не были бы замечены без классных наблюдений за работой учителя. Исследователи и разработчики также наблюдали, как учителя вносили изменения в использование игры и в дополнительные послеигровые задания. В некоторых случаях наблюдатели могли наблюдать, как учителя обучают игре более одного дня, и замечать, какие изменения они вносят с одного дня на другой, наблюдая за ходом игры, проводя дискуссии и выполняя учебную работу после игры.
Подобная итерация в дизайне не является чем-то новым в области дизайна или исследований, но она была признаком прогресса в программе исследований в рамках этого проекта, и ранее этого не ожидалось. В предстоящей разработке Math Snacks команда планирует аналогичные итеративные возможности развития для всех продуктов.
Проблемы
Заманчиво (и часто это является требованием финансируемых программ), чтобы инструменты оценки создавались в начале осуществления проектов. Хотя это дает разработчикам четкое представление о результатах образовательных игр, оно ограничивает итерацию того, что формативное тестирование может принести инструменты. Учитывая успех исследований в рамках этого проекта, а также ограничения каждого из вышеперечисленных индивидуальных методов, эта всеобъемлющая методология исследования также создавала проблемы.
Эта группа характеризуется удивительно низкой текучестью кадров: основные исследователи, ведущие исследователи и руководители проектов продолжали активно участвовать в проекте в течение всего периода его осуществления. С помощью этой последовательной группы было легче поддерживать институциональные знания о проекте, поскольку все члены группы делились информацией о том, что было изучено на каждом этапе.
В связи с огромным объемом данных, полученных с помощью этих методов, группе пришлось упорядочить документацию для формативной работы, собрав важные выводы, которые можно было бы сразу же использовать. Это ограничивало проведение полного анализа, часто необходимого для публикации формативных выводов: короче говоря, большая часть собранных данных не была доведена до сведения широкой аудитории. Группа располагает обширными массивами данных обследований, данных самоотчета, встроенных данных и наблюдений, которые еще не проанализированы в полном объеме.
Для других исследователей, разрабатывающих план оценки трансформаций на основе игр, может оказаться нереальным планировать тот же 5-летний цикл разработки и тестирования, что и для этой команды. Однако те же стратегии могут быть эффективно использованы в небольших программах. Оценка игры усиливается за счет использования различных методов измерения и анализа, частого тестирования, а также планирования итеративной разработки методов исследования.