Начало семестра, начало новых дисциплин, новые студенты, что у них в голова – пока тайна, нужна какая-то диагностика. Да и вузовская бюрократия требует организации входного контроля и отчета о результатах.
И вот ты стоишь перед группой с добрыми намерениями провести эффективную и надёжную «как швейцарские часы» диагностику. В голове — красивые кейсы, которые должны выявить блестящие умы. А в реальности — шестьдесят сонных лиц и мысль: «Я что, все эти кейсы потом проверять буду?». И рука сама тянется за спасительным тестом, который проверит разве что умение угадывать вариант «Б».
В принципе обычные стандартные закрытые знаниевые тесты обладают невысокой диагностической ценностью, почти не способные проверить многие умения. А реализованные в СЭО (то есть, решаются на ПК или с телефона) - так и вовсе гуглятся и «ИИчатся» (хэй, чатгпт, реши тест). Педагогическое сообщество говорит о необходимости ИИ-устойчивых заданий, но я пока таких по своей дисциплине в целях входной диагностики придумать не могу. Если есть мысли – делитесь.
Входной контроль - это не поставить первую оценку в журнал, основная функция - диагностическая. Это наша возможность увидеть реальный уровень группы, чтобы не бросаться в глубокий колодец с проблемной лекцией о сложных правовых явлениях, когда студенты с трудом отличают базовые понятия. Это галочка себе, на что обратить внимание, что повторить при изучении дисциплины. Ключевой ориентир здесь — «входящие» знания и умения, заявленные в рабочей программе дисциплины, на них мы и должны опираться, формулируя задания.
… Как-то я видела задания для входного контроля, включающие вопросы по предмету дисциплины, которая еще только будет изучаться. Какое интересное методическое решение, подумалось мне тогда. Но это лирическое отступление…
Идеально для юристов – открытые задания на анализ правовых норм, кейсы с требованием выявить юридические факты, обосновать свою позицию, объяснить понимание. В этом году ко мне на дисциплину пришла очень небольшая группа. Помимо теста (скормить вузовской бюрократии некий формализованный результат) каждый получил небольшой кейс: практическая ситуация и выдержки из закона, а также вопросы на понимание, анализ и обоснование. И уже более детально очевидны умения, некоторые пробелы, способность коротко и логично пояснить ответ, сделать вывод, определить правовые последствия.
Однако главная головная боль любого преподавателя — трудоемкость проверки. Открытые задания на размышление, анализ правовых норм, кейсы — это золотой стандарт для оценки юридического мышления, но на их проверку уходят часы, которые, как правило, в нагрузке преподавателя никак не обозначены.
Побаловавшись с диагностическим кейсом на малом количестве людей, задумалась, что же можно сделать, если их все же 50-100?
Первый вариант - те же два этапа, то есть автоматизированный тест с вопросами на входящие знания, владение терминологией, а затем все дружно пишут ответ на открытое задание. Но проверяет преподаватель не у всех: по результатам теста выбирает несколько работ из группы ребят, решивших тест удовлетворительно, несколько – решивших хорошо, и несколько – с высоким результатом. Так, сказать средняя температура по больнице, статистическая выборка :). При этом стоит заранее предупредить, что решение кейса выполняется с диагностической целью и преподаватель даст обобщенную обратную связь о типичных удачных ответах и ошибках.
Второй вариант – взаимная анонимная проверка по критериям (четкий чек-лист и ключ). Это не только разгружает преподавателя, но и полезно для самих студентов: анализируя чужие ошибки, они глубже понимают материал. Однако, необходимо заложить время на взаимную проверку при организации входного контроля, продумать, как быстро анонимизировать работы (видится, что это заранее заготовленные номерные бланки со съемным титульным листом), организационные моменты. Плюс не только продумать задание, но и сделать простую и понятную рубрику.
Третий вариант – хитрый гибрид кейса и теста. Вместо стандартных вопросов на знания дается ситуация и вопросы к ней, ответы на которые можно автоматизированно проверить. Ну к примеру, вместо задания кейса «Выявите факты, имеющие юридическое значение для разрешения спора» закрытое задание «Выберите факты, имеющие юридическое значение для решения спора» с несколькими вариантами ответа или задание на выбор верного объяснения с несколькими правдоподобными дистракторами. Да, студент не сам выявляет, не сам формулирует объяснение, но понимание юридических явлений все-равно проверяется, да и нагуглить/наИИчить ответ на такой вопрос существенно сложнее.
Что касается ИИ-устойчивых заданий, то вертится в голове идея включить в качестве оценочного средства описание процесса решения /выполнения задания, алгоритма. Типа, решите задание, а теперь пошагово опишите, как вы его решали. Пока на уровне идеи.