Автор Дэвид Уайли © Ассоциация образовательных коммуникаций и технологий 2025
Один из основных принципов психометрии гласит, что мы не можем напрямую измерить то, что знает человек. То есть, вы не можете вскрыть череп человека, подставить микроскоп к его мозгу и наблюдать что-либо, что подтвердило бы, что он приобрел конкретный навык или знания, которые вы хотите проверить. Это печально, поскольку подтверждение того, что люди приобрели конкретные навыки или знания, является необходимым условием для того, чтобы мы могли выставить им оценки по курсу, присвоить им степень или предоставить другие квалификационные документы.
Если мы не можем заглянуть в мозг наших студентов и непосредственно наблюдать, что они знают, что мы можем сделать? Мы можем собрать непосредственно наблюдаемые доказательства их обучения — такие как студенческие эссе и ответы на вопросы с несколькими вариантами ответов — а затем проанализировать эти доказательства, чтобы сделать обоснованные выводы о том, что наши студенты знают или не знают.
Измерение успеваемости студентов — которое мы часто называем оценкой (*) — очень похоже на раскрытие тайны убийства. Детектив всегда прибывает на место преступления после того, как оно было совершено, поэтому он не может непосредственно наблюдать за происходящим. Вместо этого детектив должен собрать и проанализировать доказательства, чтобы сделать обоснованные выводы о том, что должно было произойти.
Основное различие между детективами и педагогами заключается в том, что детективы всегда смотрят в прошлое — они должны довольствоваться теми доказательствами, которые случайно остались на месте преступления. Педагоги, с другой стороны, смотрят в будущее и решают, какие доказательства мы хотели бы получить. Когда педагог садится за разработку курса, он фактически говорит: «Какие доказательства я мог бы собрать от студентов, которые убедили бы меня, что они знают то, что должны знать по окончании этой недели / модуля / курса?» Затем он тщательно разрабатывает инструменты оценки, чтобы получить именно те доказательства, которые он хочет собрать от своих студентов.
Важно отметить, что, за исключением случаев, когда в определенных областях проводятся экзамены, обязательные на уровне штата или федерации (например, NCLEX), мы, педагоги, имеем значительную свободу действий в том, что касается способов оценки успеваемости студентов.
Из всех доказательств, которые мы могли бы собрать, конкретные доказательства, которые мы фактически выбираем для сбора, обычно сводятся к двум соображениям: (1) насколько убедительными будут эти доказательства в том, чтобы убедить меня, что студент знает или не знает то, что я хочу, чтобы он знал, и (2) сколько времени и энергии потребуется для сбора и анализа доказательств (например, проведение оценок и их оценка). А количество времени и энергии, которое мы готовы потратить на повышение убедительности собираемых нами доказательств, как правило, зависит от стоимости ошибочных выводов о результатах обучения студентов. Например, мы потратим гораздо больше времени, усилий и средств на сбор убедительных доказательств того, что будущие пилоты самолетов знают то, что им нужно знать, чем на сбор доказательств того, что студенты овладели концепциями в третью неделю вводного курса по психологии. В первом случае последствия ошибочного суждения об их успеваемости — допуск неподготовленного человека в кабину пилота — могут быть катастрофическими. Сотни людей могут буквально погибнуть, если наш вывод окажется ошибочным. В случае вводного курса по психологии ставки значительно ниже, и мы тратим на эти оценки пропорционально гораздо меньше времени и усилий.
На протяжении десятилетий педагоги посвящали значительное количество времени и энергии созданию каталога стратегий оценки, в которых «результат стоит затраченных усилий». Иными словами, оценок, которые позволяют нам собирать достаточно убедительные доказательства, но не слишком обременительные для проведения и оценки. Очевидным примером здесь являются вопросы с несколькими вариантами ответов. Для написания эффективных вопросов требуется время и опыт, но затем их можно проводить и оценивать с относительно небольшими усилиями. С другой стороны, написание инструкций для эссе требует гораздо меньше времени, но значительно больше времени на оценку. Это те виды прагматичных компромиссов, которые педагоги взвешивают и принимают на протяжении десятилетий, чтобы найти доказательства, которые являются достаточно убедительными, но не требуют слишком больших усилий для сбора и анализа.
И вот мы наконец подошли к сути проблемы. Основная проблема, которую ИИ создает для педагогов, заключается в том, что его существование превращает доказательства, которые раньше были убедительными, в доказательства, которые больше не являются убедительными. Или, возвращаясь к метафоре о детективной истории, сам факт существования ИИ «загрязняет место преступления». Он лишает смысла оценки, на которые педагоги полагались на протяжении десятилетий, тщательно вывешивая компромиссы. Однажды ваш каталог проверенных оценок предоставляет вам убедительные доказательства успеваемости студентов. А на следующий день вы просыпаетесь, и вдруг они уже не убедительны.
Что нам делать? Один из способов решить эту проблему — попросить студентов тщательно избегать использования ИИ, когда они занимаются созданием доказательств, необходимых нам для выводов об их успеваемости. По сути, мы могли бы попросить наших студентов вернуться в прошлое, в эпоху, когда наши любимые формы доказательств еще были убедительными. (Конечно, путешествие во времени невозможно.)
Но это решение ложится бременем на студентов. Оно игнорирует тот факт, что ИИ стал повсеместным и распространенным — он интегрирован в текстовые процессоры, электронные таблицы, веб-браузеры, телефоны и многое другое. Оно не учитывает, что усилия, необходимые для того, чтобы избежать использования ИИ, все больше напоминают изгибы и акробатические трюки, которые должен выполнять вор-скакун, чтобы не коснуться сетки лазерных лучей.
Стоит помнить, что оценки — это не то, чем ученики занимаются для удовольствия. Оценки — это то, чем ученики занимаются, потому что мы этого от них требуем. Потому что нам это нужно. Потому что в образовательных системах, где необходимо оценивать, насколько хорошо учатся студенты, мы не можем выполнять свою работу, если студенты не проходят оценки. А поскольку студенты проходят оценки для нас, чтобы мы могли выполнять работу, за которую нам платят (например, выставлять оценки в конце семестра), кажется разумным, что мы возьмем на себя ответственность за поиск пути вперед.
Я предлагаю вернуться к разработке наших курсов с новым взглядом, обдумать высокую степень нашей свободы в определении способов оценки успеваемости студентов, попытаться мыслить нестандартно и задать себе вопрос: «Учитывая, что ИИ существует в мире и что студенты, вероятно, будут его использовать (случайно или намеренно), какие доказательства успеваемости я сейчас сочту убедительными?». Это гораздо более сложный вопрос, но и гораздо более продуктивный, чем «как я могу помешать студентам списывать с помощью ИИ?». И хотя, несомненно, нам понадобится время и усилия, чтобы найти и эффективно разработать новые формы оценки для сбора новых видов доказательств, по крайней мере, мы будем работать над правильной проблемой.
* В этом эссе «оценка» всегда означает «итоговую оценку» или «оценку обучения», в отличие от «формирующей оценки» или «оценки для обучения».
Примечание издателя
Springer Nature сохраняет нейтралитет в отношении юрисдикционных претензий в опубликованных картах и институциональных аффилиациях.