Автор Дэвид Уайли
Этой осенью я снова преподаю IPT 531: Введение в открытое образование в BYU (посмотрите - он разработан так, чтобы каждый мог принять участие), и сегодня я начинаю пробный прогон редизайна курса с небольшим количеством студентов. Я хотел включить в курс чтение, обобщающее мое нынешнее мышление об «оценке воздействия OER», поэтому я позволю некоторые соображения изложить ниже. Эта структура будет постоянно улучшаться с течением времени.
В прошлом я часто писал о том, как мы оцениваем влияние использования OER. В этих работах содержались такие идеи, как золотое сечение (2009), фактор воздействия OER (2014) и более широкий взгляд на воздействие (2018). Сегодня я хочу объединить многие из этих мыслей в целостную унифицированную структуру для измерения воздействия использования ООР (и других образовательных инноваций). Эта новая структура состоит из трех компонент: успех (success), масштаб(scale) и экономия (savings) - отсюда и название S3 (русский вариант можно 3С - свершения, систематизирования, сбережения). Ниже я опишу каждую компоненту, опишу, как рассчитать её стоимость, и опишу, как объединить отдельные значения в общую оценку. Затем я опишу применимость структуры для оценки образовательных инноваций за пределами OER.
Определение и измерение успеха
Студенческий успех - это первая и самая важная компонента системы. В рамках S3 «успех» означает «завершение курса с итоговой оценкой, которая позволяет ей рассчитывать на выпуск».
Научные исследования, оценивающие влияние ООР, часто сообщают, изменились ли оценки, полученные студентами, после того, как их преподаватели начали использовать ООР. В большинстве случаев ответ на этот вопрос «нет» по причинам, описанным Гримальди и его коллегами в OpenStax. В тех случаях, когда сообщалось об изменениях в итоговой оценке (мной и другими), они часто сообщались как изменения в процентах от итоговой оценки (86% против 84%) или в единицах GPA (2,4 против 2,6). Хотя эти изменения иногда показываются статистически значимыми, трудно интерпретировать их практическую значимость, потому что почти в каждом случае (насколько мне известно) учащиеся, получившие «более высокую» итоговую оценку, фактически получают одну и ту же письменную отметку. Другими словами, типичная находка среди немногих работ, показывающих преимущество в классе, связанное с использованием OER, заключается в том, что, хотя учащиеся контрольной группы зарабатывали отметки C в среднем, учащиеся, получавшие внедрение ООР, получали в среднем немного более высокие C. Это то, что я имею в виду, когда говорю, что трудно определить практическое влияние такого «улучшения» - средний балл, скорее всего, не изменится в этом сценарии, а это означает, что студенты не будут претендовать на стипендии по более высоким ставкам, что повысит их шансы на поступление в магистратуру, или любую другую заметную практическую выгоду.
Место, где воздействие происходит наиболее четко, находится вокруг границы между финальными отметками C и D. Здесь небольшое изменение итоговой оценки определяет разницу между необходимостью повторного прохождения курса (то есть повторной оплаты за обучение, отсрочкой выпуска на другой семестр, возможной повторной оплаты материалов курса и т. д.) или возможностью засчитать курс для получения диплома. Хотя практическое влияние различия между C и немного более высоким C трудно интерпретировать, разница между D и C столь же велика, как океан. Некоторые исследования в OER уже начали использовать итоговые оценки «C или лучше» (или наоборот, коэффициент DFW) в качестве меры интереса (например, Hilton, et al.), и больше исследований OER должно следовать этому примеру.
В рамках S3, успех измеряется с использованием степени C или лучшей отметки до использования OER (среднее значение для нескольких предыдущих терминов является более стабильным показателем, чем один предыдущий термин) и степени C или лучшей отметки после того, как OER начал использоваться (снова среднее из нескольких членов является более желательной мерой, чем один член) следующим образом:
Максимальное значение для успеха равно 1, и это происходит только тогда, когда степень C или лучшей отметки равна 1 для пользователей OER. Это кодирует как идею, так и цель, чтобы каждый учащийся преуспел в курсе. Значение не определено, когда степень C или лучшей отметки равна 1 для контрольных учащихся, поскольку в этом случае невозможно улучшить успех. Вы можете изучить весь спектр ценностей здесь.
Определение и измерение масштаба
Масштаб - следующая самая важная компонента в структуре S3. Масштаб означает «доля студентов, которые достигаются». Если работа, которая оказывает сильное влияние в одной обстановке, не может быть масштабирована на несколько аудиторий, это мало помогает продвижению причины улучшения успеха для каждого учащегося. Например, добавление преподавателя в класс с инструктором, исследователем и парой выпускников может позволить происходить невероятным вещам в этом классе, значительно увеличивая успех студентов в классе. Однако, если нет практического способа приспособить эту модель к другим классным комнатам, мы не сможем использовать эту модель, чтобы помочь улучшить успех для всех учащихся.
В рамках S3 масштаб измеряется с использованием количества студентов в разделах курсов, использующих OER (например, количество студентов в разделах от Вступления в психологию, использующих OER) и общего количества студентов во всех разделах этих же курсов (например, общее количество студентов во всех разделах «Введение в психологию», следующим образом:
Максимальное значение для масштаба также равно 1, и это происходит только тогда, когда все соответствующие разделы курса используют OER. Это кодирует как идею, так и цель, которую должен включать каждый ученик. Масштаб может включать один курс (например, Введение в психологию) или несколько курсов (например, все курсы общего образования), в зависимости от того, где OER используется в учреждении.
Определение и измерение экономии
Экономия является последней компонентой в рамках S3. Экономия означает «сумму денег, потраченную на материалы курса средним студентом, использующим OER, по сравнению с суммой денег, потраченной на материалы курса средним контрольным студентом». При точном расчете показатель экономии учитывает несколько факторов:
- Материалы, предназначенные для контроля студентов, доступны по многим ценам
- Некоторые студенты из контрольной группы не тратят деньги на материалы курса
- Некоторые студенты ООР тратят деньги на печатные копии ООР (или на печать ООР)
- Некоторые студенты ООР тратят деньги на учебные программы или домашние задания
- Печатные копии OER часто стоят столько же или больше, чем учебные программы или системы домашних заданий (например, см. Цены на печатные книги OpenStax на Amazon).
Вопреки распространенному мнению, сбережения очень трудно измерить точно, и в этом почти всегда участвуют некоторые оценки и догадки.
В рамках S3 экономия измеряется с использованием средней суммы денег, потраченной пользователями OER, и средней суммы денег, потраченной учащимися-контрольными студентами, следующим образом:
Максимальное значение сбережений также равно 1, и это происходит только тогда, когда ни один студент, которому было назначено OER, не тратит деньги на материалы курса. Это значение не определено, если ни один студент из контрольной группы не тратит деньги на материалы курса, поскольку в этом случае пользователи OER не могут сэкономить деньги.
Расчет общего балла
При объединении отдельных баллов в общий балл, мы должны учитывать сумму, которую каждая отдельная компонента внесет в общий балл.
Выше я утверждал, что успех является наиболее важной компонентой из трех в этой структуре. Как я уже давно писал в «Отрывая глаз от мяча», я считаю, что для нас огромная ошибка - смотреть на 30% выпускников колледжей США и говорить: «Самое важное, что мы можем сделать, - это добиться такого плачевного результата». дешевле." (Аналогично, для 60% выпускников университетов США.) Более низкий уровень отказов в 70% (или 40%) - не самая важная работа, которую мы можем выполнить. Мы должны начать добиваться значительного прогресса в достижении успеха студентами, и он должен быть наиболее весомым из трех компонент в структуре.
Выше я утверждал, что масштаб является следующей наиболее важной компонентой структуры. Досягаемость (или экономия) является одной из характеристик масштабируемой инновации, поскольку учащиеся не могут извлечь выгоду из того, что они не могут себе позволить. Но для успешного масштабирования образовательных инноваций требуется гораздо больше, чем просто досягаемость (или даже бесплатность) - например, насколько это привлекательно для преподавателей или насколько легко или сложно это реализовать успешно. Поскольку масштаб включает в себя значительную экономию и целый ряд других факторов, он должен быть взвешен сильнее, чем одна только экономия.
Тем не менее, я думаю, что важно продолжать включать экономию как отдельную меру, если только по какой-то другой причине, кроме исторической важности экономии затрат в исследовании влияния OER. Но что еще более важно, включение экономии в качестве отдельной меры воздействия помогает нам вспомнить проблемы и ошибки прошлого (и настоящего) в отношении цены материалов курса. Надеемся, что сохранение этих ошибок в центре и снизит вероятность того, что новые инновации снова пойдут по этому пути.
Поскольку я обдумал относительные веса для компонент, кажется, что успех как минимум вдвое важнее масштаба, и этот масштаб как минимум вдвое важнее экономии. Если мы используем:
Мы получаем показатель воздействия с максимальным значением 7. Мне это нравится.
Расширение рамок образовательных инноваций за пределами OER
С точки зрения высокого уровня, OER - это всего лишь одна из сотен инноваций, сторонники которых считают, что она может улучшить образование. В той степени, в которой это правда, нет никаких оснований для разработки конкретной оценки воздействия ООР. Действительно, было бы чрезвычайно полезно иметь общую меру воздействия, которую мы могли бы использовать для сравнения широкого спектра потенциальных инноваций.
В S3 нет ничего специфичного для OER. Вы можете использовать её, чтобы измерить влияние «вещей», таких как обучающая аналитика, iPad или дополненная реальность. Вы можете использовать её для измерения влияния «подходов», таких как проблемно-ориентированная педагогика или совместное решение проблем в педагогике или педагогика активного обучения. Вопросы S3 заставляют нас сосредоточиться на том:
- Насколько это нововведение улучшает успех студентов?
- Сколько наших студентов получают выгоду от этого нововведения?
- Сколько денег эта инновация экономит студентам?
Это все хорошие вопросы.