На заре внедрения в городскую среду автомобильного транспорта считалось, что превышение скорости в 30 км в час - это уже преступление против пешеходов. К автомобилям, таким образом, пытались продолжать применять мерки, привычные для гужевого транспорта...
Внедрение метода тестирования до сих пор во многих организациях разбивается о банальное непонимание, какими должны быть в этом случае границы оценок. Продолжают талдычить, что 90 процентов - это граница для оценки "отлично", а граница минимальной положительной оценки - в районе 60 процентов усвоения (от требуемого объема знаний).
Ну давайте считать, применяя теорию вероятностей и матстатистику (непривычное занятие для руководителей учебной части многих вузов). Если тест мы составили из заданий, каждое из которых в среднем характеризуется показателем ППО (процентом правильных ответов) в районе 65% (а ведь если подберем задания с более высоким ППО, то потеряем во многом диагностическую способность такого теста), то согласно известным формулам Бернулли, величину стандартного отклонения ("сигма") можно приближенно оценить с помощью корня квадратного из произведения 0,65*0,35*N, где N - число заданий в тесте, что в тесте длиной в 100 заданий даст нам величину порядка 4-5%.
На самом деле задания в рамках определенной темы (предметной дисциплины) не являются независимыми испытаниями и при наличии их средней скоррелированности на уровне 0,3-0,5, можно смело говорить, что стандартное отклонение достигает величины в районе 10-12%. Ну вот теперь мы можем спрогнозировать, сколько в тесте длиной хотя бы в 50 заданий, будет тех или иных оценок, если задать границы 90-80-70-60. Ответ: выше ППО=90 из ваших 200-300 студентов скорее всего не наберет ... никто (!). Почему:? - А вспомните-ка про закон "трех сигм", а это отклонение от среднего уровня как раз на 3 сигмы вверх (!). У меня в самом деле этот уровень студенты достигали не каждый год, а только раз в 3-4 года (!). То есть один из почти 700-900 студентов (!). Поэтому-то нормальная рекомендация в случае метода тестов состоит в том, чтобы вводить нижнюю границу для оценки "отлично" в районе ППО=80 (!). При этом получим совсем немного отличников - не более 10 процентов скорее всего (!). Границу оценки "хорошо" надо делать тогда не 70%, а 65%, тогда у нас будет примерно 30-40 процентов "хорошистов". Ну а разумная граница для "удов" - это 50%, что даст примерно 30-40 процентов троечников. Тогда у нас будет не более 10-15% "хвостистов", которые не справятся с итоговым тестом на усвоение курса.
Вот такие премудрости, связанные с почти полувековым опытом использования метода тестов для контроля результатов обучения, я могу Вам поведать на нашей дистанционной зимней школе "Конструирование тестов знаний". Кстати, пока имеем на этой школе 10 зарегистрированных (оплативших) участников. Нужно до 23 января привлечь еще 5 человек, чтобы возникла полноценная группа численностью 15 человек. Почему это важно? - Потому что тогда участники вместе создадут достаточно рабочий (многочисленный) банк учебных тестовых заданий и статистика даст им хорошую обратную связь, насколько удачными оказались эти задания.
На приведенном весьма условном графике я решил упростить цифры, чтобы... облегчить понимание. График построил сам автор с помощью программы MS Excel.
Нравится
