Что всплывает у тебя в голове при словосочетании "контрольный экзамен"?
Читатели старшего возраста, так называемые «бумеры», наверняка вспомнят билеты со сложнейшими темами, вспомнят придирчивого преподавателя, выслушивающего ответы бедных трясущихся студентов.
Те, кто по-моложе, вспомнят ЕГЭ, ОГЭ и прочие вариации государственных письменных тестирований, проверяющихся по итогу не человеком, знающим Вас в лицо, а независимым экспертом или вовсе -- бездушным компьютером.
Стоит сказать, что обе системы (современная и советская) являются особо изощренным методиками психологического давления на учащихся — с этим в той или иной степени согласятся все.
Но значит ли это, что государству стоит отказаться от неё в полной мере? К сожалению, нет, ведь без аттестации как таковой образование потеряет в своей текущую эффективности. От её отмены проиграют все! Ученики потеряют мотивацию к обучению, учителя потеряют работу, а государство, недосчитавшись сотен тысяч высоко-профильных специалистов, лишится потенциального экономического роста.
Аттестация — это важный инструмент массового социального отбора, который стимулирует современную общественную конкуренцию, обеспечивает работу социальных лифтов и институтов.
Эффективность работы этого механизма определяется точностью отбора. Его, в отличии от Дарвиновского -- "естественного" -- мы можем полностью контролировать. В методике аттестации организаторам подвластно всё: от области знаний, до системы анализа результатов. Именно последний компонент чаще всего оказывается основополагающим, так как он объединяет список вопросов по теме в единую по своей структуре систему, облачает знания в экзаменационную форму.
Глобально выделяют две подобных формы: письменную и устную.
Что всё-таки лучше?
Возвращаясь к ЕГЭ и экзамену советского образца, давайте ответим на вопрос: что лучше? Точнее -- какая модель обеспечивает более качественный отбор, объективнее отражает знания о предмете по окончании испытания?
Как ни странно, на этот вопрос есть однозначный ответ. Несмотря на заявления представителей старшего поколения о "вреде ЕГЭ", о "оболванивании населения", и о "антиобразовательном заговоре", письменная система всё же опережает устную по многим параметрам.
Во-первых, поскольку задания отдаются на проверку компьютерам и независимым экспертам, из "уравнения" почти полностью исключается субъективный фактор.
Это значит, что оценка наглого парня с ирокезом, размалеванной девушки с короткой мини-юбкой и лентяя с двумя пятитысячными купюрами в зачетке, будет зависеть исключительно от их индивидуальных знаний, а не от предвзятого мнения преподавателя. Беда в том, что даже самые беспристрастные представители рода человеческого обладают какими-либо принципами и верованиями, которые вынуждают их осознанно или бессознательно фальсифицировать итог оценивания.
У письменного формата нет такого недостатка. Он обладает бесценной способностью обезличивания, стерилизации ответа учащегося.
Обратной стороной выступает невозможность "коррекции ответа в реальном времени". Если ученик не дал правильного/развёрнутого ответа, он не сможет в ту же секунду получить обратную связь от преподавателя и оперативно дополнить ответ. Поэтому бланк часто предлагает строгие ограничения по размеру ответа. Так составители пытаются адоптировать задание для компьютерной проверки, а также сделать его более психологически нейтральным. Однако нельзя сказать, что в этом отношении эта мера является достаточно релевантной. Есть ещё один претендент, который, при правильным с ним обращении способен гораздо лучше справиться с этой проблемой.
Имя ему тест.
Его имя - тест
Под "тестом", в текущем контексте, подразумевается принцип построения контрольного задания, который предполагает наличие вариантов ответа. При них поле «потенциально верной информации» существенно сужается, достигая превентивно заданного минимума.
Из-за этого также повышается и статистический шанс на успех. Проще говоря, — многократно увеличивается вероятность попадания "пальцем в небо".
В отличие от теста, задание с кратким решением имеет скрытый пул (множество) из гипотетических ответов, один из которых (или несколько) является верным. Размер самого́ «тайного» множества может быть крайне весомым и всегда не определенным.
Например, область знаний, подразумевающаяся в вопросе: "Кто был генеральным секретарем ЦК КПСС в 1951 году?" — охватывает целый ряд имён, фамилий, лиц и должностей способных заменить единственно верный ответ. Ученик, представляя систему партийного руководства СССР, может объявить генсеком Берию, Маленкова или вовсе — представить кандидатуру Сахарова, не связанного ни с 1951, ни с политбюро того времени, однако непосредственно относящегося к истории советского союза.
В этом и кроется главный подводный камень системы кратких ответов — в неконтролируемом увеличении пула вариантов, зависящим исключительно от расплывчатого контекста знаний учащегося.
И всё было бы хорошо, если бы в игру не вступало порождаемое скрытым множеством «чувством неопределенности».
Статистически было доказано, что студенты, решающие номера с открытым пулом (то есть тесты) испытывают меньше стресса и тревоги, нежели лица, думающие над заданием с кратким ответом.
Так происходит потому, что открытое множество — перечень заранее указанных вариантов — вызывает у учащегося ощущение вероятностного успеха. Чувство неопределенности полностью нивелируется, а вместе с ним повышается сосредоточенность на предмете. Спокойствие и концентрация очень важны для обеспечения корректного экзаменационного отбора, ведь даже самые знающие и эрудированные ученики частенько становятся заложниками своих необоснованных страхов. Хорошая структура экзамена должна нивелировать тревогу, трансформировать её в уверенность.
Конвейер проверки
Не стоит забывать и про так называемую «массовую проверку». Под ней в первую очередь подразумевается оценивание ответов максимально непредвзятым путём – механическим.
Даже полностью обезличенный бланк может вызвать неправильный субъективный отклик у эксперта: допустим, тому не понравилась политическая позиция ученика, которую он высказал в задании с кратким/развернутым ответом. Проверка компьютером полностью исключает и такой вариант.
Более того, -- она превращается в высокоэффективный конвейер, оценивающий в 100 раз больше работ за единицу времени. Эксперты, проверяющие тестовые экзамены, перестают быть экспертами и превращаются в людей, засовывающих листы А4 в сканер. На такую простую должность можно нанять человека с минимальной квалификацией и довольно значительно сэкономить на зарплатах.
Также, но сложнее
Итак, мы разобрали плюсы и минусы тестовой системы.
Тут возникает новая дилемма. Как оставить открытое множество (тест) и при этом исключить фактор "пальца в небо", если они непосредственно зависят друг от друга?
На самом деле, ответ гораздо проще, чем кажется. Достаточно лишь многократно уменьшить вероятность успеха, усложнив тестовое задание на структурном уровне. Усложнение стоит производить строго определенным образом.
Существует 2 метода: экстенсивный и интенсивный — проще говоря -- количественный и качественный.
Разберемся на примере. Представьте, что перед Вами лежит стандартизированное тестовое задание построенное в стиле "Кто хочет стать миллионером" — один вопрос и 4 варианта ответа. В независимости от того какими знаниями вы обладаете, Ваш шанс победить — 25%. В рамках Дмитрия Деброва такая запредельная вероятность более чем допустима, ведь она в сочетании с подсказками (50/50, звонок другу, помощь зала и тд.), адаптирует сам процесс викторины под широкую аудиторию. А она в своей массе желает лишь одного: азарта и развлечения.
Да и потом, согласись, если бы шоу было бы вероятностно сложным, никто из его знаменитых гостей, включая самого Вассермана, не дошёл бы до конца. При таких обстоятельствах шоу длилось бы 15 минут и было бы, мягко говоря, не рентабельным.
Экстенсивный метод
Однако, если мы на секунду представим, что КХСМ — это программа, не подчиняющаяся правилам капитализма, то как мы можем усложнить её тестовые задания?
С первым — количественным методом — дела обстоят довольно просто. Он предполагает простое увеличение потенциальной выборки при сохранении принципа правильного решения. Это значит, что вместо 4-х вариантов мы должны привести 5, 6, 7 и более. В зависимости от количества, вероятность будет закономерно уменьшаться. Но существенно ли? 5 опций — это 20%, 6 — 16,6%, 7 — 14,3%. Говоря откровенно, даже 10 вариантов подкидывают беспрецедентную возможность как минимум 10-ти ученикам из 100 безнаказанно пройти отбор.
Напоминаю, что речь идет исключительно об индивидах, не обладающих никакими знаниями о предмете. Всё ещё не представляешь масштабы проблемы? Представь, что 100 человек заразились некой болезнью и десять из них настиг летальный исход.
Фактически, экстенсивный подход не способен существенно усложнить тест. Есть у него и ещё один существенный минус. Дело в том, что вместе с увеличением открытого множества увеличивается и упомянутое ранее чувство тревоги.
При небольших выборках — 4-6 вариантов — оно не оказывает такого существенного влияния на психику ученика, однако при более крупных множествах (8-12) становится серьезным препятствием, способным вызывать настоящую панику. Целый лист, заполненный различными опциями, заставляет глаза практически любого разбегаться от неуверенности.
В этом кроется очень важный парадокс восприятия тестов: больше вариантов ≠ сложнее, НО больше вариантов = страшнее.
Множественные ответы
Чтобы его обойти парадокс и был придуман интенсивный метод. С его помощью можно многократно поднять вероятностную сложность любых, в том числе и простейших тестов в стиле КХСМ.
Выделяют два основных способа «структурного качественного преобразования».
Первый связан с множественными ответами. Согласно нему задание должно содержать сразу несколько равнозначных верных вариантов ответа. Тесты такого типа встречаются, например, в ЕГЭ по русскому языку в 9-12 задании.
Выглядят они так:
• условие, обязывающее указать строки слов с повторяющейся буквой в корне/суффиксе/приставке;
• 5 вариантов ответа;
• минимум правильных ответов — 2;
• максимум — 4.
При системе множественных вариантов вероятность указания единственно верного комплексного ответа понижается до 5 и менее процентов. Открытое множество при этом может оставаться сравнительно небольшим. Стоит сказать, что оно и должно оставаться таковым во избежании появления психологических барьеров. Шесть вариантов — предел, не повышающий тревожность.
Интенсивный метод не предполагает строго определенного психологического предела. Интенсивная комбинация, базирующаяся на придуманном алгоритме (последовательности), по-разному влияет на восприятие задания. Тут всё индивидуально, но общая тенденция показывает – уровень тревоги учащегося, решающего тестовое задание интенсивного типа, держится на довольно низкой отметке, вне зависимости от истинной статистической сложности.
Наиболее эффективный тест должен стремиться к минимизации вариантов ответов и максимизации сложности комбинации. В случае теста с системой «множественных ответов», способ усложнения существует один: по количеству потенциальных правильных ответов (2,3 и более, но не все из множества).
Последовательный метод
Второй метод интенсивного преобразования теста — последовательный — предполагает «синхронизацию ответов в множестве».
При подобной структуре все потенциальные варианты становятся неотъемлемыми звеньями финального комплексного ответа, упорядоченными в соответствии с требованиями задания. Образно говоря, последовательный метод является улучшенной версией метода с множественными вариантами, так как вводит ещё и систему внутренней детерминированной связи.
Прекрасной иллюстрацией частично успешного применения данной структуры будет восьмое задание из ЕГЭ по русскому языку.
Главное условие:
Сопоставить 5 ошибок (А, Б, В, Г, Д — идущие друг за другом) с 5-ю иллюстрирующими их примерами.
Осложняется задание 4-мя дополнительными вариантами, существующими вне цепочки для отвлечения внимания экзаменуемого.
С точки зрения вероятностного отбора последовательная система является самой эффективной, ибо даже при наличии 5-ти вариантов, шанс выстроить их в нужной последовательности близится к 3%.
Такой маленький процент позволяет отказаться от дополнительных экстенсивных усложнений, в том числе от множеств неверных «отвлекающих» вариантов. Последними восьмое задание грешит сверх меры, предоставляя не 2, не 3, а целых 4 заведомо лишних опции. Всё это лишь усиливает «тревожность», но никак не делает задание эффективнее в отношении экзаменационного отбора.
Намного разумнее, по возможности, раздробить громоздкое задание на два небольших и психологически пассивных номера.
Таким образом, почти весь экзамен можно построить исключительно на подобных интенсивных заданиях последовательного и множественного типа. Конечно, первые почти всегда будут предпочтительнее, однако из-за специфики той или иной области предмета, некоторые ответы не могут быть соединены в общую цепь.
Каков идеал?
Итак, «идеальный» психологически нейтральный контрольный материал, по моему мнению, должен выглядеть следующим образом:
1.) 70% «последовательных заданий» и 30% «множественных», соответственно.
2.) Визуально (!) маленькие и легкие одноразмерные тестовые задания, подвигающие к анализу фактов из имеющегося пула.
3.) Простые понятные условия, созданные по общему стандарту. Ученик не должен отвлекаться на прочтение задания, а сразу приступать к решению/анализу. Условия-ловушки (Например, когда составители намеренно вставляют, например, частицу «НЕ» перед словосочетанием «ОСВЕЩАЮТСЯ В ТЕКСТЕ»), призванные поймать ученика на невнимательности, лишь вредят аттестационному отбору, ударяют по его эффективности, оценивая область не связанную с предметными знаниями и навыками.
4.) Задания наиболее полно отражают основные области предметных знаний. Каждый номер отвечает за четко обозначенную область.
5.) Варианты ответов должны быть разнообразными и равнозначными по глубине заложенной в них информации.
Пожалуй из всех перечисленных выше пунктов актуальные экзаменационные варианты содержат в себе 4. Все же остальные -- выполняются неполно (1,2), либо остаются полностью невостребованными, как 3.
Из-за всего этого страдает вся система отбора, а соответственно и все последующие субъекты через неё проходящие.
Лицо врага
Однако, каким образом можно осуществить внедрение новой системы?
Конечно, нам не стать министрами образования, не написать петицию на миллион подписей и не совершить официального обращения к власти. Почему? А когда правительство в России последний раз прислушивалось к голосу общества?
Я считаю, что существует ещё один альтернативный способ. И главный его плюс в том, что в нём по-настоящему будет заинтересован основной контингент проходящий отбор — сами учащиеся.
Способ этот предполагает уничтожение текущей системы изнутри. Сокрушение магистрального несущего столпа — тестов экстенсивного типа.
Именно по ним, как по самому уязвимому звену, сообщество учащихся может ударить в первую очередь, нанеся существенный урон всей структуре. Она, как никогда, нуждается в серьёзной встряске.
Каждый год аналитики из министерства образования проверяют результаты ЕГЭ и оценивают эффективность тех или иных заданий, дабы держать систему отбора в динамическом тонусе.
Если они поймут, что какие-то звенья цепи сильно выбиваются из общей картины (здесь мы, конечно, говорим про одновариантные тесты), они неминуемо заменят их на более приемлемые — то есть интенсивные (множественные или последовательные) или хотя бы на задачи с закрытым пулом — любой вариант окажется лучше.
Поэтому я призываю всех учеников 9 и 11 классов, которые готовятся сдавать экзамены в этом году, — делать упор именно на тестовые задания экстенсивного типа! (Надеюсь теперь ты знаете врага в лицо).
обучающие ролики по конкретным заданиям; подмечайте хитрости и уловки справедливые для определенных типовых номеров по предмету (они обязательно будут в тестах такого типа); штудируйте материал из заданной области и просто решайте, решайте и ещё раз решайте!
Будущее Российского образования было, есть и будет в ваших руках!
Вы знаете врага в лицо!
Понравилось? Хочешь больше подобного контента?
Подписывайся и ставь лайк.
Так я пойму, на какую тему мне стоит писать в следующий раз!
И не забывай про телеграмм с ежедневными мини публикациями: https://t.me/adom_fridom