В нашей дистанционной Зимней школе "Конструирование тестов знаний" мы пытаемся добиться от наших слушателей привычки оперировать некоторыми техническими понятиями и аббревиатурами. Одно из них - это ППО для тестовых заданий. ППО означает - процент правильных ответов. Это критически важный параметр любого тестового задания. Его важно измерить в предварительном эксперименте прежде, чем начать массовое применение теста. Эксперты-авторы очень часто промахиваются при определении ППО "на глазок". Но... и после измерения важно с ППО работать РАЗУМНО (!). Если для какого-то задания обнаружилось, что оно трудное и ППО менее 30%, то лучше... такое задание вообще выкинуть из теста как "слишком трудное" (!). Почему? - Да потому что такое задание дает преимущество людям, выполняющим тест фиктивно - с помощью тактики случайного угадывания.
Представьте: если в задании 4 варианта ответа, то правильный ответ можно угадать в одном случае из 4х, то есть с вероятностью в 25%. Тем самым испытуемый-бракодел будет получать на таких заданиях те же самые 25%, что и добросовестный испытуемый, так что мы таких разных двух человек просто НЕ сможем дифференцировать - различать с помощью таких заданий. Но... более того, стараются избегать и заданий с ППО=30% тоже. Почему? - А потому, что с определенной долей везения испытуемый-бракодел (прибегающей к тактике случайного ответа) может набрать даже 15 правильных ответов из 50 в тесте, то есть 30%.
Вот поэтому-то всю зону от 0 до 30% в тестологии чаще всего считают неприемлемой "зоной случайного угадывания". Это объясняет, почему лучше работают тесты со сдвигом в сторону более легких заданий, так чтобы средний ППО для всех заданий в тесте был где-то между 60 и 70 процентами правильных ответов. Это к тому же создает для большинства испытуемых комфортное ощущение, что они "что-то все-таки знают".
* * *
Занятия в дистанционной школе "Конструирование тестов знаний" начнутся 23 января. Пока не хватает пятерых для полноценной группы (а 10 человек уже есть).
Картинку нарисовал сам автор в PC PAINT. Ну уж как смог - не судите слишком строго.