С различением ППО и процентилей (см. мою предыдущую статью на эту тему) теснейшим образом связано различение понятий КОРТ и НОРТ. КОРТ - это критериально-ориентированное тестирование. НОРТ - нормативно-ориентированное тестирование. Первое имеет дело с точками отсечения на шкале ППО - процент правильных ответов. Второе - с точками на шкале процентилей - процентом тестируемых, выполнивших тест слабее данного уровня.
В случае КОРТ точки отсечения располагаются, как правило, выше. В первом случае говорят: отбираются испытуемые, показавшие не менее 95 баллов на шкале ППО, то есть не менее 95 процентов правильных ответов. Это в тех случаях, когда 5 процентов ошибок в ответах на задания в тестах считаются допустимыми (в двух заданиях из 40, например). Впрочем, иногда могут задать и более низкую точку отсечения - допустим 75%. Но в этом случае речь идет, как правило, о допуске не к работе, а к производственному обучению. Цель обучения в этом случае формулируется самым понятным образом: "Ваша задача - повысить ППО с 75% до 95%". Нормы КОРТ, таким образом, - это шкалы, которые применяются на выходе из обучения, то есть указывают на готовность выполнять реальную, ответственную работу.
Нормативно-ориентированное тестирование применяется в ходе конкурсного отбора, когда ставится задач отобрать определенную долю относительно лучших испытуемых (кандидатов). Как правило, НОРТ применяется именно на входе в процедуры обучения, а не на выходе. Требования на шкалах НОРТ формулируются так: "Вы должны выполнить тест, не хуже 70% процентов других участников конкурса". Это означает, что Вы отбираете 30% лучших.
Когда говорят о характерологических тестах-опросниках, то там работают чаще всего такие шкалы НОРТ, которые построены на принципе "центрального коридора" . Такие шкалы называются еще биполярными: "Экстраверсия- интроверсия", "Мотивация достижения - мотивация избегания", "Внутренний локус контроля - внешний". Нормальными считаются результаты респондентов, которые уложились в коридор "среднее минус сигма - среднее плюс сигма". На шкале стэнов этот коридор определяется отрезком от 4 до 7 стэнов включительно. На шкале Т-баллов - отрезком от 40 до 60. На шкале IQ - отрезком от 85 до 115. Надо помнить, что в таком случае мы имеем дело именно с подходом НОРТ, а не КОРТ. В этом случае резко повышаются требования к репрезентативности (представительности) нормативной выборки: она не только должна быть многочисленной (не менее 200 человек), но и сбалансированной по демографическим показателям пола, возраста, уровня образования.
Подробности про КОРТ и НОРТ получают слушатели нашей Дистанционной ПсихоМетрической Школы. Занятия зимней сессии начинаются уже 23 января.
КОРТ+НОРТ = ЗДРАВЫЙ СМЫСЛ
Некоторые "теоретики от тестологии" жестко противопоставляют подходы КОРТ и НОРТ. Но на практике принципы КОРТ и НОРТ приходится гибко сочетать. Вначале в качестве ориентира устанавливают, например, границу для оценки "отлично" в 80 по шкале ППО, реализуя фактически КОРТ-подход. Но... потом видят, что в этом случае пятерки получают гораздо меньше расчетного числа в 10% учащихся, так что понижают границу до 70%. А этом значит, что происходит коррекции нижней границы для грейда "отлично" на основе фактически НОРТ-подхода.
Увы, новичкам бывает трудно понять принципы КОРТ и НОРТ, так как им предлагают таблицы перевода первичных (сырых) баллов в оценки, не поясняя, как определены границы интервалов - на основе ППО или на основе процентилей. Таблица "соответствия по математике" - это первый попавшийся пример такой таблицы, которую я нашел в Яндексе, набрав запрос "шкалы тестовых баллов". Стоит обратить внимание, что 19 первичных баллов от 33 возможных - это ППО=58%, а это означает, что скорее всего нижняя граница для оценки "Отлично" скорректирована (в сторону понижения) на основе НОРТ-логики (на основе фактических процентильных долей) - ну так, чтобы отличников оказалось не слишком мало :)
Фото обложки автор нашел в галерее Яндекс-картинку, куда она попала с сайта twitter.com