В ходе пятилетнего научно-исследовательского проекта исследователи разработали набор математических обучающих игр и анимаций, провели оригинальные исследования по проверке эффективности инструментария у учащихся 5, 6 и 7 классов. Группа ожидала, что в ходе осуществления проекта будут использованы как формативные, так и суммативные меры. Формативные методы, такие как пользовательское тестирование, использовались при разработке игр и анимации, а суммативные меры, такие как предварительные и послетестовые тесты, были разработаны для оценки эффективности конечных инструментов. В настоящем документе рассматриваются первоначальные цели исследования, документируются пути расширения этих целей в ходе реализации проекта, а также приводятся конкретные сведения об использовании каждого метода и меры исследования с кратким изложением полученных результатов. В заключение приводятся рекомендации для других разработчиков, заинтересованных в оценке обучающих игр, которые могут помочь сориентировать исследовательские планы для долгосрочных исследовательских и опытно-конструкторских.
Наиболее значительное потенциальное воздействие качественных игр с задачами по математике и точная оценка их влияния на обучение студентов заключается в том, насколько хорошо студенты подготовлены к курсам и карьере в области ЕНТИМ, в частности, могут ли учащиеся, участвующие в этих играх, изучить концепции, составляющие основу обучения математике. Теоретическая основа для игрового вмешательства основана на конструктивистских принципах обучения для формирования знаний. Современная теоретическая педагогика поддерживает метафоры, в которых рассматривается построение знаний, а не передача знаний. Анимация и игры, входящие в комплект продуктов Math Snacks, являются основой для обучения критически важному математическому содержанию, включая соотношение, эквивалентность, координатную плоскость, дроби, десятичные знаки и значение координат. Для разработки игр команда использовала модель дизайна обучающих игр, в рамках которой разработчики игр и эксперты по контенту совместно работают на протяжении всего процесса разработки игр.
Эта команда работала сообща, чтобы разработать другой тип игры, отличный от тех, которые часто встречаются для изучения математики. Игры Math Snacks были разработаны не для того, чтобы создать автоматизм в решении проблем, а для того, чтобы дать учащимся возможность исследовать, задавать вопросы и понимать ключевые концепты, связанные с чувством чисел, соотношением, скоростью и точками на координатной плоскости. Это обучение, основанное на игре, было также подкреплено последующими исследовательскими мероприятиями, предназначенными для обучения в классе. Используя различные методы оценки учебной деятельности, группа смогла создать основу для разработки инструментов, основанных на постоянной формативной оценке в процессе развития, оценке успеваемости учащихся и, наконец, выяснить, что поддерживало это обучение. Объединяя качественный и количественный подходы на различных этапах исследовательского процесса, команда отразила концепцию смешанной модели исследования Джонсона и Онвюгбузи, что позволило расширить и расширить спектр вопросов исследования и использовать преимущества одного метода для преодоления недостатков другого.
Продукты
Проект "Математические концепции" начался с исследования пробелов в понимании учащимися математических концепций в 4-7 классах. Исследователи проанализировали результаты 24 000 баллов, набранных учащимися в ходе оценки, основанной на стандартах Нью-Мексико (НМСБА). На этом тесте половина вопросов была открытыми или короткими, поэтому ученики могли видеть неправильные представления о математическом мышлении. Исследователи проанализировали результаты тестов в нескольких различных округах и обнаружили почти одинаковые закономерности в разных округах, независимо от экономического положения, количества изучающих английский язык или размера округа. Ученики во всех округах испытывали особые проблемы с одинаковым содержанием, включая концепции числа и операций, соотношения, фракции и точки в координатной сетке. Аналогичные модели распространенных ошибок были также обнаружены в различных районах по всем математическим направлениям, включая геометрию, данные и алгебру. Это исследование послужило дорожной картой для разработчиков при разработке игр и анимации.
Набор задач по математике включает 11 анимаций и игр, все доступно на английском и испанском языках. Каждая закуска включает в себя печатное руководство для учителя, содержащее рекомендации по использованию, а также дополнительные учебные мероприятия и видеофильм, показывающий, как учителя могут использовать игру или анимацию. Каждая анимация также содержит печатное руководство для учащегося и стенограмму комикса, доступную на обоих языках. Все ресурсы Math Snacks доступны на сайте с таким же названием, а также полные описания, снимки экрана и примеры видеоигр.
Планы исследований
Первоначальный план исследований включал методы формирования анимации и игр, а также заключительное итоговое суммирующее рандомизированное контрольное испытание с использованием стандартизированных экзаменов для определения уровня знаний учащихся по математике. Хотя по мере развития исследования рассматривались одни и те же вопросы, методы, условия тестирования и схемы исследований изменялись в течение всего проекта.
Формативное тестирование
Многие команды разработчиков интегрируют формативное тестирование, демонстрируя аудитории рабочие прототипы и внося изменения в продукт. Тем не менее, команда Math Snacks планировала использовать формативное тестирование намного чаще, и с большим количеством групп, чем большинство других дизайнерских команд. Первоначально формативное тестирование для разработки и повышения эффективности продукта было разработано таким образом, чтобы охватить учителей, учащихся и экспертов по обеспечению качества на протяжении всего процесса разработки. Итеративный дизайн включал интервью и наблюдения, проводимые с учителями и учащимися, использующими продукты Math Snacks в классах и индивидуально на протяжении всего процесса разработки. Преподаватели и учащиеся будут предоставлять отзывы о работе над прототипами математических закусок.
Летом и не реже двух раз в месяц в течение учебного года должна была функционировать лаборатория Учебных игр (собственная испытательная база в цехе разработки), где молодежь средних школ должна была тестировать свою продукцию в "мозговых центрах". Формативные инструменты оценки, предложенные для лаборатории, включали обсуждения в фокус-группах, интервью один на один, наблюдения два на один, ежедневные подсказки в блоге, исповеди в видео шкафу и размышления вслух. Собранные данные должны были быть проанализированы с использованием различных качественных методологий. Наконец, "Комитет по обеспечению качества", состоящий из экспертов в области математики, технологии, повышения квалификации и научных исследований, должен проводить свои заседания ежегодно.
Сводное тестирование
Для определения эффективности программы "Математические концепции" были предложены итоговые оценки с использованием количественных методов. Случайные контрольные испытания будут разработаны для измерения понимания учащимися данных математических концепций с использованием оценки на основе стандартов Нью-Мексико (НМСБА). Одна из гипотез: Студенты в экспериментальных классах повысят эффективность использования ими навыков математического процесса, измеряемых на открытой части НМСБА, на значительно более высоком уровне, чем студенты в контрольных классах.
В первоначальном плане предусматривалось, что 30 учителей-экспериментаторов и 30 дополнительных учителей будут выбраны случайным образом для работы в качестве преподавателей-контролеров.
Эволюция плана исследований
В то время как первоначальный проект исследования направлял весь 5-летний проект, дополнительные исследования естественным образом эволюционировали в рамках итеративного процесса проектирования. Основные цели остались прежними (использование формативных методов для повышения эффективности разрабатываемых инструментов с целевой аудиторией и тестирование воздействия готовых инструментов с помощью мер по накоплению знаний), но потенциал для дополнительных методов исследования увеличивался по мере продвижения проекта. Самое главное, группа не смогла использовать НМСБА, как планировалось, поскольку в течение срока действия гранта школы в Нью-Мексико осуществляли переход от НМСБА к Партнерству по оценке готовности к поступлению в колледж и карьере (ПАРКК). В результате группа по подготовке закусок по математике разработала три оценки с использованием модифицированных выпускных материалов аналогичных стандартизированных тестов для измерения успеваемости по математике. Эти меры описываются ниже.
В дополнение к этим изменениям в итоговых тестах, более широкий доступ к учащимся и учителям выявил дополнительные потенциальные возможности для формативного тестирования, чем первоначально предполагалось. Первоначально планировалось проведение формативного тестирования в Лаборатории обучающих игр, куда студенты приезжали на недельные сессии "мозгового центра", участвовали в творческой деятельности по дизайну и тестировали игры в процессе разработки.
Благодаря такому дополнительному доступу к учителям и учащимся в процессе разработки группа определила дополнительные потенциальные области воздействия. Для проведения экспериментальных исследований в нескольких различных классах и доработки исследовательских инструментов и протоколов группа в полной мере использовала возможности своей сети школ, созданных в рамках других проектов по распространению знаний по математике, а также печально известные продукты "Математические закуски", полученные благодаря "сарафанному общению изо рта". Эти созданные сети учителей и административная поддержка предоставили исследователям более широкий доступ для тестирования в классе, наблюдений и работы в фокус-группах. Помимо доступа к реальным учебным помещениям в течение учебного года, летние лагеря не только обеспечили условия для классного обучения, но и повторили их. Поскольку исследователи имели возможность наблюдать за тем, как уроки математических закусок влияют на учеников и учителей, стало ясно, что значительное влияние игр может быть упущено в стратегии оценки, ориентированной только на изменение знаний.
Наконец, у команды было 4 года на доработку методологии исследования, и она решила изучить некоторые встроенные данные оценки, которые были собраны в игре, такие как время, проведенное на каждом уровне игры, повторные попытки добиться успеха после неудачи и воспроизведение успешно пройденных уровней. Ранее команда планировала наблюдать за студенческим геймплеем, но встроенные данные давали более полную картину того, как проходили игры.