Определение пороговых баллов (standard-setting в англоязычной литературе) – процесс, когда группа экспертов решает, какой именно балл на экзамене или в оценке отражает минимально необходимый уровень знаний и навыков (компетентности). По сути, это поиск ответа на вопрос: "Сколько достаточно чтобы признать студента компетентным?". Этот балл становится "проходным" (cut-score), отделяя тех, кто "сдал", от тех, кто "не сдал".
Зачем определять пороговый балл (ведь уже есть волшебные 70 процентов)
А вот зачем:
- Принимать справедливые решения о том, кто может двигаться дальше в обучении, а кто готов к практике.
- Определить, соответствует ли студент необходимым требованиям, а не просто сравнить его с другими студентами.
- Обосновать и сделать прозрачными решения об успеваемости студентов перед преподавателями, студентами и даже юристами.
Виды стандартов – от чего зависит порог?
Существуют разные подходы к тому, как установить эту "планку":
- Абсолютные стандарты (Criterion-referenced): здесь пороговый балл устанавливается независимо от того, как справились другие студенты. Мы решаем, сколько знаний или навыков нужно иметь для определенного уровня компетентности (например, 65% правильных ответов для успешной сдачи экзамена) Это похоже на то, как если бы вы сказали: "Чтобы стать поваром, нужно уметь приготовить 10 блюд без ошибок", независимо от того, сколько других людей тоже это умеют. Если установлен абсолютный стандарт, могут сдать все 100% студентов или все могут провалиться. Это главный метод для медицинских экзаменов.
- Относительные стандарты (Norm-referenced): здесь планка зависит от результатов других студентов. Например, "сдадут только лучшие 25% студентов". Такой подход используется, когда нужно выбрать определенное количество людей из большой группы, например, для ограниченного числа мест в ординатуре. Но это не говорит о том, насколько они компетентны в абсолютном смысле.
Также методы можно разделить по тому, на чем они сфокусированы:
- Ориентированные на тест (Test-centred): Судьи оценивают каждый элемент экзамена (например, каждый вопрос или задание) и решают, сможет ли "минимально компетентный" кандидат правильно его выполнить.
- Ориентированные на кандидата (Candidate-centred): Судьи оценивают реальных студентов или их работу, классифицируя их как "компетентных", "некомпетентных" или "пограничных".
- Компромиссные методы (Compromise methods): Сочетают в себе элементы абсолютных и относительных подходов.
Как это работает?
Независимо от выбранного метода, в процессе определения пороговых баллов всегда есть общие шаги:
- Определение компетентности - прежде чем устанавливать планку, нужно очень четко понять, что именно означает "компетентность" в данном контексте. Что должен уметь и знать специалист на этом этапе обучения или в этой специальности? Это может быть что-то базовое для студента (например, измерение давления), или очень сложное для опытного хирурга.
- "Пограничный" кандидат. Это ключевое понятие! "Пограничный" кандидат — это гипотетический или реальный студент – троечник, который едва-едва соответствует минимальному уровню компетентности. Он не блестящий, но и не провальный. Судьи должны держать в уме образ такого студента, когда оценивают задания.
- Подбор судей-экспертов. Установлением пороговых баллов занимается группа опытных специалистов(например, преподавателей, практикующих врачей). Они должны хорошо знать содержание экзамена, цели оценки и иметь представление об уровне подготовки студентов. Чем больше опытных судей, тем объективнее и надежнее результат.
- Обучение судей. Очень важно, чтобы все судьи были единообразно обучены. Им объясняют, что такое "минимальная компетентность", как пользоваться оценочными шкалами и чек-листами. Это помогает уменьшить предвзятость и сделать оценки более последовательными.
Популярные методы определения пороговых баллов
Вот несколько методов, которые часто используются, особенно в медицинском образовании:
Методы установления порогового балла
1. Модифицированный метод Ангоффа – лучше всего подходит для тестовых заданий.
Эксперт смотрит на каждый вопрос и отвечает на вопрос «Какой процент МК-студентов решит его правильно?» (например, 60 %). Потом мы усредняем оценки по экспертам и складываем по всем вопросам. Получается ожидаемый балл МК-студента по всему тесту — это и есть пороговый балл.
Почему это честно?
Мы не подгоняем пороговый балл под средний результат группы, а держим курс на «минимально безопасный уровень».
Пошагово (на 10 вопросах):
- Короткая калибровка: обсуждаем образ МК-студента и вместе оцениваем 2–3 примера.
- Каждый эксперт независимо проставляет проценты (0–100) по вопросам.
- Считаем среднее по каждому вопросу.
- Суммируем средние проценты и делим на число вопросов.
Микропример.
Средние оценки вероятности правильного ответа по 10 вопросам:
70, 60, 50, 80, 60, 70, 50, 60, 70, 60 (%).
Сумма = 630 → 630/10 = 63 %. Порог = 63 %.
На этом можно остановиться – это и есть метод Ангоффа, но если по некоторым вопросам оценки экспертов слишком сильно разнятся – нужно перейти к следующему туру, - модифицированный Ангофф:
- Во втором раунде покажите экспертам средние по панели и (если есть) сложность вопросов по результатам прошлому тестирования. Пусть каждый поправит свои оценки.
- Если тест получился очень лёгким, порог может выйти высоким — это нормально: значит, МК-студент должен набрать много, потому что вопросы легкие.
- Если тест очень разнородный – то есть оценки сильно разнятся между вопросами, подумайте о переработке лёгких/неудачных заданий и увеличении числа вопросов.
Частые ошибки и как их избежать:
- Ставим 100 % на все легкие вопросы — так наш порог улетит в космос. Помните: МК-студент иногда ошибается, отвечая даже на ленкие вопросы.
- Споры «по вкусу» - у всех разное понимание МК. Решает описание МК и короткие обоснования к каждому вопросу.
2. Hofstee - компромиссный метод - «не слишком мягко, не слишком строго»
На пальцах:
Эксперты задают коридор разумности:
- минимально и максимально допустимый проходной балл (в %);
- минимально и максимально допустимую долю провалов (%).
Затем мы смотрим на распределение реальных результатов группы и находим точку, которая укладывается в оба ограничения. Это и есть порог.
Пример.
Эксперты решили:
- проходной балл должен быть между 64 и 75 %;
- доля провалов допустима между 20 и 35 %.
- После проведения экзамена строим график видим распределение баллов. На оси Х отмечаем границы проходного балла (64 и 75), на оси Y – допустимую долю отсева (20 и 35) проводим лучи из этих четырёх точек перпендикулярно осям, и они образуют прямоугольник как на рисунке.
- Затем строим кривую накопленных частот по результатам тестирования.
- Точка пересечения этой кривой с диагональю, проведённой из левого верхнего в нижний правый угол прямоугольника и будет указывать на приемлемый проходной балл, при котором прошли 70 % студентов и балл 64 %, попадает в коридор → берём 64 %.
Звучит сложно, но, надеюсь на рисунке все будет понятно
Когда удобно:
- вы боитесь крайностей «прошли почти все» или «завалены почти все»;
- хотите проверить здравый смысл после Angoff (используйте Hofstee как «контрольную линейку»).
3. Метод пограничных групп / пограничной регрессии — для ОСКЭ
В ОСКЭ на каждой станции студент набирает баллы по чек-листу и получает общую оценку (например: «провал», «на грани», «сдал», «хорошо», «отлично»).
Вариант A. Метод пограничных групп (самый простой)
Идея. Смотрим, какой средний балл по чек-листу у тех, кому экзаменатор поставил «на грани». Этот средний балл и берём как порог.
Пример.
На станции по коммуникации у группы «на грани» средний чек-листовый балл = 18 из 30 → порог станции = 18.
Вариант B. Метод пограничной регрессии (точнее, но тоже несложный)
Идея. У нас есть пары: «балл по чек-листу» и «общая оценка». Строим прямую зависимость (линия «чем выше общая оценка, тем выше балл») и смотрим, какому баллу соответствует граница между «на грани» и «сдал». Это и есть порог.
Зачем так мудрить?
Так мы учитываем и детали чек-листа, и целостное впечатление экзаменатора. Это справедливо для практических навыков.
Советы для ОСКЭ:
- Перед началом согласуйте шкалу общей оценки (что такое «на грани» на этой станции).
- Пороги можно считать по каждой станции и по общей сумме.
4. Закладки (когда есть данные о трудности вопросов)
Идея без формул.
Мы заранее выстраиваем вопросы по возрастанию трудности (по данным прошлых тестирований). Эксперты ставят «закладку» там, где МК-студент перестаёт стабильно справляться. Положение закладки переводится в порог.
Пример.
Заказали «книжку» из 80 вопросов: от самых лёгких к самым сложным. Панель поставила закладку после 58-го вопроса → порог ≈ 58/80 = 72,5 %.
Когда уместно:
- у вас большой банк вопросов и накопленные данные;
- нужно, чтобы разные версии экзамена были сопоставимы по порогу.
4) «Серая зона» вокруг порога: как быть с пограничными студентами
Любая оценка немного дрожит: как весы дома — то +0,5 кг, то −0,5 кг. В экзаменах это называется стандартной ошибкой измерения (здесь не буду приводить формулы). Практическое правило:
- Обозначьте серую зону вокруг порога: например, порог ± 2 балла.
- Для тех, кто попал в серую зону, заранее опишите, что делаем:
короткий устный экзамен, дополнительная станция ОСКЭ, повторная проверка работы другим экспертом.
Это снижает случайные несправедливые оценки и укрепляет вашу позицию при апелляциях.
Выводы: Нет "лучшего" метода, есть "подходящий".
Важно понимать, что нет единого "правильного" проходного балла или "лучшего" метода. Выбор метода зависит от цели экзамена, доступных ресурсов и контекста. Главное, чтобы процесс был обоснованным, прозрачным, надежным и приемлемым для всех участников.