Автор Пол Киршнер
Что вы делаете, когда у вас есть тарелка, полная еды? Вы сначала едите самое вкусное, а то, что не любите, оставляете напоследок, или наоборот? Или вы едите все вместе: чередуя вкусный кусочек и то, что «ненавидите»? И какое все это имеет отношение к образованию?
Стандартизированные тесты обычно используются для оценки того, что люди знают и насколько они квалифицированы. Эти тесты имеют различные элементы дизайна, которые могут повлиять на то, насколько хорошо люди справятся с ними. Нам нужно подумать об этих вариантах дизайна в зависимости от того, чего мы хотим достичь с помощью тестов.
Например, в тестах с несколькими вариантами ответов должны ли мы давать разные оценки за неправильные ответы по сравнению с вопросами, на которые учащиеся даже не пытались ответить? И при сравнении вопросов типа эссе с вопросами с несколькими вариантами ответов следует ли нам учитывать, сколько времени у учащихся есть на ответы, поскольку ограничения по времени могут повлиять на успеваемость?
Один из аспектов, который мало изучен в сфере образования и экономики, заключается в том, влияет ли порядок вопросов в тесте на успеваемость учащихся. Совершенно логичный испытуемый должен сдавать экзамен одинаково хорошо независимо от порядка вопросов, но исследования показывают, что на людей влияет порядок. Например, по ходу теста люди склонны уставать, и их работоспособность может снизиться. Поэтому, возможно, было бы хорошей идеей задавать более сложные вопросы в начале теста, поскольку они требуют больше размышлений. Однако учащиеся могут почувствовать разочарование, если рано увидят сложный вопрос, думая, что весь тест будет трудным.
Наконец, в некоторых тестах вы не можете перейти к следующему вопросу, пока не ответите на предыдущий. Это означает, что порядок сложных вопросов может действительно повлиять на опыт человека.
Короче говоря, если мы хотим точно измерить то, что люди знают, без влияния психологических факторов, нам нужно подумать о том, как мы упорядочиваем вопросы по сложности. Стоит ли начинать с самого простого, самого сложного или смешивать их? И имеет ли значение порядок сложности?
«Понимание качества сдачи теста: имеет ли значение порядок сложности вопросов?» исследуется, может ли порядок сложных вопросов в тесте влиять на то, насколько хорошо люди справляются, и потенциально приводить к предвзятым результатам при оценке знаний и навыков. Для изучения этой идеи мы провели два исследования, которые дополняют друг друга и дают надежный результат.
Первое исследование представляло собой реальный эксперимент, проведенный в сотрудничестве с платформой онлайн-обучения. Они рекламировали математическое задание из десяти вопросов примерно 19 000 добровольцам. Они разделили участников на четыре группы, которым были заданы одни и те же десять вопросов, но в разной организации. В двух основных группах они разместили три самых сложных вопроса либо в начале, либо в конце, а средние четыре вопроса были одинаковыми для всех групп. Кроме того, у них было еще две группы, в которых мы смешивали сложные и легкие вопросы на протяжении всего теста, чтобы обеспечить согласованность наших результатов.
Они собрали данные о количестве вопросов, ответивших участниками, на многие из которых они ответили правильно, а также собрали информацию об их демографических характеристиках и о том, как они воспринимают свою работу.
Во втором исследовании они рассмотрели данные за три года сдачи экзамена PISA (2009, 2012 и 2015 годы), в которых приняли участие более 600 000 студентов со всего мира. Они воспользовались тем, что порядок вопросов в тестовых буклетах варьируется, и эти буклеты распределяются среди студентов случайным образом. Это позволило им оценить, как порядок вопросов и уровень их сложности повлияли на количество вопросов, оставшихся без ответа, и общую успеваемость на экзамене.
В ходе полевого эксперимента они обнаружили, что расположение вопросов от самого простого к самому сложному снижает вероятность того, что учащиеся откажутся от теста, и приводит к более правильным ответам. Например, когда сначала предлагались сложные вопросы, 44% участников не прошли тест, тогда как из тех, кто начал с простых вопросов, выбыли только 30%. В среднем студенты отвечали на более правильные вопросы, когда начинали с простых вопросов, по сравнению с теми, когда начинали с сложных (3,53 против 2,42 из 10 вопросов).
Результаты экзамена PISA подтверждают это. Студенты, столкнувшиеся с группой вопросов, которые в начале были примерно на 10 процентных пунктов сложнее, оставили больше вопросов без ответа в середине и ближе к концу теста. Они также получили меньше правильных ответов в этих разделах.
В заключение отметим, что порядок сложности вопросов в тестах имеет важное значение для разработки тестов и их эффективности. Это также может повлиять на то, как мы оцениваем студентов, оцениваем учебные заведения и сравниваем образовательные системы. Причина этого может заключаться в том, что начало с простого вопроса помогает учащимся преодолеть первоначальные колебания и повышает их уверенность, что побуждает их продолжать попытки.
Почему? Вероятно, потому, что простой первый вопрос помогает учащимся преодолеть первоначальные сомнения, а чувство успеха, которое они испытывают, мотивирует их продолжать обучение дольше. Так что сначала ешьте то, что вам больше нравится, а потом ешьте что дали!
Литература
Анайя Л., Ириберри Н., Рей-Бил П. и Замарро Г. (2022). Понимание результатов при сдаче тестов: роль порядка сложности вопросов. Обзор экономики образования, 90, 102293.