В ходе каждой нашей Дистанционной ПсихоМетрической Школы (ДПМШ) всегда немало слушателей, которые, задумываясь поглубже над тем, чем отличается валидность от надежности, начинают понимать, что ... не слишком хорошо понимают это и задают вопросы. ВОТ ЭТО МНЕ ВСЕГДА ОЧЕНЬ НРАВИТСЯ, ибо я за сорок лет преподавания этой темы хорошо знаю, что молчание (отсутствие вопросов) означает... "смирение с полным непониманием". И я, получив честные и прямые вопросы, впадаю в новый приступ энтузиазма - в попытку придумать все более понятное и наглядное различение...
Сегодня мне пришло в голову, что надо предложить начинающим психометристам (тестологам) поработать в голове с метафорой "черный ящик". Да не простой ящик, и ящик измерительный. Речь идет о таинственном приборе без маркировки, назначение которого мы, допустим, не знаем, но прикладываем его к пальцу. Может быть, это пульсометр, может быть влагометр, а может быть пульсоксиметр (тот, который измеряет сатурацию)? - Не знаем будто бы, так как надписи на нем, допустим, на арабском! Задача выяснить, что же измеряется, - это типичная задача на "валидизацию теста" - выяснение того, что же измеряет тот или иной психометрический тест и с какой точностью он измеряет именно то, что хотим, а не что-то другое...
Когда мы пользуемся простейшими антропометрическими приборами проблема валидности как бы и не возникает, а речь идет только о надежности. В самом деле, когда видим ростомер, то уже по его внешнему виду понятно, что он измеряет рост тела, а не вес тела. А когда мы встаем на напольные пружинные весы и уравновешиваем гирьки, то понятно, что измеряем именно ВЕС. Тут нет "черного ящика", и нам все видно, как работает прибор и на что он нацелен.
А вот если черный ящик, то нам не видно - не понятно, что за механизм спрятан у него внутри, является ли он датчиком влажности, или датчиком пульсирующего давления периферических сосудов или... еще чем-то. Понятен ход мысли?
Надежность не является стопроцентной даже в случае очень простых приборов. Это нам доказывают весы, которые даже в случае двух попыток измерения с интервалом в пару минут, дают немного различающиеся показания. Особенно электронные напольные весы этим грешат. Они чувствительны к колебаниям температуры и "шалят" грамм на 500, а иной раз доходит дело до целого килограмма (даже дорогие весы у меня лично "шалят" изрядно), так что ... от огорчения хочется их порой выкинуть в окно... Почему два последовательных замера различаются? - А ведь это потому, что электронные весы "разогреваются" после первого измерения - мы их немного прогреваем теплом своих ног, и от давления в них растет температура тоже... Это все признаки низкой надежности измерений . Они связаны со случайными колебаниями показаний - с ошибкой измерения.
Другое дело валидность. Она связана с направленностью процедуры на определенное измеряемое свойство.
Надежность и валидность - это не вполне независимые, а связанные свойства. Есть такая аксиома в тестологии: измеренный уровень валидности не может превышать надежность. В том смысле, что надежность ограничивает валидность. Хотя... это немножко другая история, и ей надо посвящать отдельное сообщение.
Полезная метафора, скажите, пожалуйста? Дайте мне обратную связь?
Фото обложки автор нашел на benzo-electro-instrument.ru