Давайте теперь разберем другую, не менее важную "суперспособность" оценки – надёжность! Если валидность отвечает на вопрос "измеряет ли оценка то, что должна?", то надёжность говорит нам: "Насколько стабильны и воспроизводимы результаты этой оценки?".
Представьте, что у вас есть весы. Если вы взвеситесь на них пять раз подряд, и каждый раз они покажут разный вес, то вы им не доверяете. Они ненадежны. То же самое и с оценкой. Если один и тот же студент, обладающий одним и тем же уровнем знаний, проходит похожий тест в разных условиях или в разное время, и получает совершенно разные результаты – эта оценка ненадежна. А если оценка ненадежна, то она не может быть валидной, то есть нельзя сделать точные выводы о знаниях студента.
Надёжность – это про воспроизводимость результатов тестирования. Если тест надёжен, то вы можете быть уверены что результаты, полученные студентом, будут такими же, если он пройдет другой, похожий тест по той же теме.
Откуда берется "шум" в оценке?
Любая оценка может содержать "шум" или ошибку. Всё, что отвлекает от точного измерения, создает эту ошибку и снижает надёжность. Например:
- Сам студент (устал, нервничал, плохо себя чувствовал).
- Особенности вопросов (слишком легкие/сложные, запутанные).
- Экзаменатор (субъективность, разное настроение).
- Условия проведения (шум в помещении, плохая организация).
Психометрические теории как раз и были разработаны, чтобы помочь нам понять и оценить эту надёжность.
Существуют три основные теории надёжности, которые используются в медицинском образовании:
- Классическая теория тестов (КТТ)
- Теория обобщаемости (G-теория)
- Теория педагогических измерений (IRT)
Давай рассмотрим их по очереди:
1. Классическая теория тестов (КТТ)
Это самая старая и, пожалуй, самая интуитивно понятная теория. Она исходит из простого предположения: наблюдаемый балл студента (то, что он получил на экзамене) состоит из его "истинного балла" (реальных знаний или умений) и "ошибки" (случайных факторов).
- Истинный балл (T): Это гипотетический балл, который студент получил бы, если бы не было никаких ошибок измерения.
- Ошибка (e): Это все случайные факторы, которые влияют на наблюдаемый балл, но не связаны с истинными знаниями студента. Формула очень проста: Наблюдаемый балл = Истинный балл + Ошибка (O = T + e).
Как КТТ оценивает надёжность? Часто это делается через коэффициент внутренней согласованности, самый известный из которых – альфа Кронбаха.
- Альфа Кронбаха показывает, насколько хорошо вопросы теста "согласуются" друг с другом, то есть измеряют одно и то же. Высокое значение (близкое к 1) означает что вопросы теста однородны и измеряют один и тот же "конструкт" (например, знания по кардиологии).
- Важно помнить, что альфа Кронбаха лучше всего подходит для оценки надёжности, когда нам важен порядок рангов студентов (кто лучше, кто хуже), а не их абсолютный балл. Если нам важен точный балл (например, для проходного балла), альфа Кронбаха может переоценивать надёжность.
Стандартная ошибка измерения (SEM) Это очень полезный показатель в КТТ. SEM говорит нам, насколько "разбросаны" могли бы быть баллы студента, если бы он сдавал тест много раз.
- Например, если SEM равна 3%, а студент набрал 65%, то его истинный балл с 95% вероятностью находится в диапазоне от 60,1% до 69,9%. Чем меньше SEM, тем точнее измерение. SEM помогает понять, насколько большая надёжность действительно важна. Иногда тест с более низкой надёжностью, но меньшей SEM может давать меньше неверных решений "сдал/не сдал".
Преимущества КТТ:
- Простота понимания и расчета.
- Подходит для стандартных тестов (например, с открытыми вопросами или множественным выбором).
Недостатки КТТ:
- Не может разделить влияние сложности теста от способностей студентов.
- Предполагает, что все вопросы одинаково "хороши" и независимо друг от друга измеряют конструкт.
- Может переоценивать надёжность в ситуациях, где важен абсолютный проходной балл.
2. Теория обобщаемости (G-теория)
Это более сложная, но и более гибкая теория, чем КТТ. G-теория позволяет не просто оценить общую ошибку, но и идентифицировать и количественно оценить различные источники ошибок (или "фасеты").
- Представьте, что вы проводите ОСКЭ (объективный структурированный клинический экзамен). На результат студента могут влиять:
- Сам студент (его истинные знания/навыки) — это желаемая дисперсия.
- Станции (разная сложность станций) — это первый источник ошибки.
- Экзаменаторы (разные экзаменаторы ставят по-разному) — это другой источник ошибки.
- Взаимодействие (например, студент плохо работает на определенной станции с конкретным экзаменатором) — это тоже источник ошибки.
G-теория использует статистические методы (дисперсионный анализ), чтобы разложить общий балл студента на эти компоненты. Это позволяет нам понять, какой процент изменчивости результатов обусловлен реальными различиями между студентами, а какой – разными источниками ошибок.
Коэффициент обобщаемости (G-коэффициент) и коэффициент зависимости (D-коэффициент):
- G-коэффициент используется, когда нам важен ранговый порядок студентов (например, кто лучший, кто худший).
- D-коэффициент используется, когда нам важен точный абсолютный балл студента (например, прошел он или не прошел). Он учитывает систематическую сложность заданий.
D-исследование (Decision Study): Уникальная особенность G-теории — возможность проводить "D-исследования". Это позволяет нам экстраполировать, как изменится надёжность, если мы изменим условия оценки.
- Например, что будет, если мы увеличим количество станций в ОСКЭ? Или добавим больше экзаменаторов на станцию? G-теория может предсказать, как это повлияет на надёжность, что очень полезно для планирования эффективной оценки.
Преимущества G-теории:
- Гибкость: Позволяет учитывать различные источники ошибок и их взаимодействие.
- Применима к сложным оценкам: Идеальна для многоаспектных тестов, таких как ОСКЭ, где есть несколько источников изменчивости (студенты, станции, экзаменаторы).
- Позволяет принимать обоснованные решения о дизайне оценки для повышения надёжности.
Недостатки G-теории:
- Более сложна в понимании и применении, требует специализированного программного обеспечения и хорошего понимания концепций.
3. Теория педагогических измерений (Стохастическая теория тестов)
Также в литературе упоминается как Теория ответа на задание (IRT)
IRT — это наиболее продвинутая теория, которая решает важный недостаток КТТ и G-теории: она позволяет отделить эффект сложности теста от эффекта способностей студентов.
- Представьте, что в группе студентов низкие баллы по тесту. КТТ и G-теория не покажут, это потому, что тест был очень сложный, или потому, что студенты слабо подготовлены. IRT может это сделать.
Как работает IRT? IRT моделирует вероятность того, что студент с определенным уровнем способностей правильно ответит на каждый конкретный вопрос теста.
- Функция отклика на задание (IRF): Это кривая, которая показывает, как вероятность правильного ответа на вопрос увеличивается с ростом уровня способностей студента.
- Параметры вопроса:
- Сложность: Насколько труден вопрос (где на шкале способностей находится 50% вероятность правильного ответа).
- Дискриминация: Насколько хорошо вопрос различает студентов с высокими и низкими способностями.
- Вероятность угадывания: Насколько велика вероятность, что студент с очень низкими способностями угадает правильный ответ (для тестов с множественным выбором).
Компьютерное адаптивное тестирование (КАТ): Одно из самых впечатляющих применений IRT — это КАТ.
- В КАТ каждому студенту подбираются вопросы на основе его предыдущих ответов. Если студент отвечает правильно, ему предлагают более сложный вопрос; если неправильно – более легкий. Это позволяет быстро и эффективно оценить способности студента с высокой точностью, задавая ему только те вопросы, которые максимально информативны для его уровня. Это также может сократить стандартную ошибку измерения для большинства студентов.
Преимущества IRT:
- Позволяет получить параметры вопросов и способностей студентов на одной шкале, независимо друг от друга.
- Дает возможность создавать эквивалентные тесты для разных групп студентов.
- Позволяет проводить КАТ, значительно повышая эффективность и точность оценки.
- Используется для анализа дифференциального функционирования заданий (DIF), который помогает выявить, ведут ли себя вопросы по-разному для разных групп студентов (например, по полу, расе, этнической принадлежности) с одинаковым уровнем подготовки. Это важно для обеспечения справедливости оценки.
Недостатки IRT:
- Требует значительно больших объемов данных для предварительного тестирования вопросов (сотни или тысячи ответов).
- Нужны специализированные статистические знания и программное обеспечение.
- Исходит из строгих предположений (например, одномерность измеряемого конструкта), которые не всегда выполняются на практике.
Когда что использовать?
Выбор теории надёжности зависит от конкретной ситуации, цели оценки и доступных ресурсов.
- КТТ — хороша для простых, стандартных тестов, где не требуется глубокий анализ источников ошибки, и для быстрой оценки внутренней согласованности.
- G-теория — незаменима для сложных, многогранных оценок, таких как ОСКЭ, где есть несколько источников вариативности (например, станции, экзаменаторы). Она позволяет точно понять, откуда берутся ошибки и как оптимизировать дизайн оценки.
- IRT — наиболее мощный инструмент для крупных организаций, университетов, где есть ресурсы для сбора больших объемов данных и команда квалифицированных статистиков. Она идеальна для компьютерного адаптивного тестирования и обеспечения эквивалентности разных форм тестов.
В конечном итоге, надёжность оценки имеет решающее значение для обеспечения её уместности и точности, а также для справедливого принятия решений об успеваемости студентов. Понимание этих теорий помогает создавать качественные и эффективные оценки, которые действительно отражают знания и навыки будущих медицинских работников!
Практика — что делать
- Стремитесь к значению α-Кронбаха ≥ 0,8 для итоговых экзаменов, ≥ 0,7 — для текущих.
- Увеличивайте количество заданий: 40–60 вместо 25 кардинально поднимают коэффициент надёжности.
- Калибруйте экзаменаторов — проведите 2-часовой тренинг и «сверку» по эталонным видеозаписям ОСКЭ.
- Подсчитывайте межэксперттную надёжность в ОСКЭ; целевое значение > 0,75.
- Используйте специализированные программы для тестирования (например moodle), они считают статистику автоматически.
- Пересчитывайте надёжность после каждого крупного обновления заданий и после каждого экзамена.
- Проверяйте изменения α-Кронбаха — это индикатор «усталости» теста.
- Не бойтесь исключать «подозрительные» вопросы даже после экзамена (post-hoc analysis).
- Собирайте данные, чтобы строить тренды на 5-летнем горизонте.
- Делитесь метриками – график улучшения надёжности отлично «продаёт» идеи.
МЕДОБР🌏НАВИГАТОР