Недавно вышел глобальный обзор о влиянии ИИ на оценивание студентов: «The Next Era of Assessment», где на основании изучения систем оценивания в современных вузах выявляются те изменения, которые привнес ИИ.
"54% преподавателей считают, что текущие оценки студентов требуют существенных изменений, а каждый второй преподаватель считает, что задания следует пересмотреть, сделав их более устойчивыми к ИИ"
С завершением цитаты полностью согласна: перечитала за год тонну решений задач, ответов на дискуссионные вопросы и курсовых , сгенерированных с помощью «тухлого ИИ». На мой взгляд требуется пересмотр многих наших заданий и/или способов их выполнения.
В обзоре выделяются три типа оценочных мероприятий:
1. Оценочные средства, исключающие использовании ИИ, то есть те типы заданий, в которых исключается или минимизируется использование ИИ. В некоторых американских вузах, читала где-то, для контрольных точек используют вновь олдскульную схему: ручка, тетрадь для самостоятельной работы, без телефонов и ПК.
Этот тип однозначно нужно использовать для всех контрольных мероприятий, но здесь ряд ограничений:
- только аудиторная работа или онлайн с качественным прокторингом, без дополнительных гаджетов, ибо там где присутствует телефончик, рука сама тянется;
- сложность для юристов: мы учим работать с НПА, с информационно-правовыми системами и чаще всего с их приложениями. Для некоторых дисциплин можно просить купить кодексы и работать только с бумажным вариантом (немного «назад в прошлое», но хоть на бумажную книжку посмотрят :), но на моей, где на каждую тему по 3-5 законов – не вариант. И телефон/ноутбук тоже не вариант, см. п .1. Следовательно, или отказываемся от таких заданий или пересматриваем организационные условия. Или придумываем что-то качественно новое, ориентированное скроее не на поиск соответствующих норм и актов, а на их углубленное толкование
К счастью, многие модели ИИ пока со скрипом решают сложные юридические задачи: врут, опираются на старые НПА, неверно интерпретируют, но студенты не перестают надеяться, скармливая им раз за разом :).
2) Оценочные средства с заданиями, при выполнении которых студент может использовать ИИ, это допускается преподаваем. Более того, последний, как мне кажется, должен предложить варианты взаимодействия, обсудить ограничения, требования к промтам, пределы использования, необходимость обязательной проверки результата.
Обзор предлагает такие типы заданий, как мозговой штурм с использованием ИИ, поиск источников, объяснение терминологии, проверка на соответствие критериям, проверка грамматики.
Я студентам предлагаю при выполнении курсовой работы использовать инструменты работы с научной литературой на основе ИИ для поиска источников и составления обзора исследуемых проблем, функцию саммаризации для предварительного изучения источника, чтоб определить, включать его в перечень для изучения или нет. Также можно использовать для перевода литературы с других языков, объяснения сложных фраз или терминов, проверять оформление, грамматику и т.п.
Также мы пробовали и мозговой штурм с ИИ. Студентам было предложено порассуждать о преимуществах и рисках дистанционного электронного голосования с использованием генеративного искусственного интеллекта как сократовского собеседника, предложила промт или возможность составить его самостоятельно с обязательным указанием на сократовского наставника и отсутствие готовых ответов. Модель выбирали самостоятельно. Задание было дополнительным, желающие выполнили и скинули свои диалоги, также обсудили вопрос на занятии. Кто-то общался голосом, кто-то писал с мобильного, у большинства были достаточно интересные рассуждения, но выявились две чудесные работы, где студенты запустили промт и вопросы одной модели скидывали в другую, и наоборот, спор двух ИИ. Такой гладкий, стилистически нечеловеческий, да еще у в мужском роде у одной студентки. При этом баллы ставились даже не за качество и глубину рассуждений, а за сам способ выполнения задания: не запрашивать готовый ответ от ИИ, а самостоятельно порассуждать на тему, «думая об ИИ». Кстати, сама иногда «думаю об ИИ», можно подсветить то, что не пришло в голову сразу, обычно мне не нравятся его предложения, но в споре и критике появляются новые идеи. Неплохой способ, если рядом нет жервы, которую можно мучать своими размышлениями.
Что же двигало организаторами межИИшной коммуникации, не понятно. Пошутила, не называя имен: «А вы не боитесь, что однажды они договорятся и исключат вас как неэффективное звено?». Непуганые дети, Терминатора не смотрели :)
3. Третий тип оценочных материалов предполагает целенаправленную и глубокую интеграцию с ИИ, он здесь выступает ключевым объектом взаимодействия. Оцениваются знания студентов в области ИИ, предполагаются практическое задания по составлению промптов, анализ данных с использованием ИИ, создание чат-бота, например, и другие.
Можно реализовать различные варианты иммерсивного обучения: симуляции диалога с какой-то известной личностью (обсудить с Плевако стратегию и тактику оправдательной речи); просто диалоговые тренажёры на основе ИИ (языковое образование); дополненная или виртуальная реальность с использованием ИИ (представьте, симулятор экспертизы во время вскрытия при различных типах ранений, бррр). Здесь же можно использовать ИИ для самооценки под руководством преподавателя, материалы, созданные ИИ для развития навыков критического оценивания результатов генерации или, например, выявления предвзятости ИИ-моделей.
Так, я предлагала в качестве задания студентам кейсы, решенные заранее ИИ, задачей студентов была проверка решения, рассуждений ИИ. Выяснили, что проверять решенное ИИ занимает не меньше времени, чем решать самостоятельно, что поверхностно убедительные ответы иногда полная ерунда с точки зрения качества, глубины, точности интерпретаций законодательства или правовых позиций судов. И здесь надо сформировать четкое убеждение: сначала студент должен сформировать навык у себя самостоятельно, прорешав кучу рутины, чтоб делегируя эту задачу ИИ сразу видеть, что и где требуется проверить.
Грамотность студентов в сфере ИИ тоже является объектом целенаправленного формирования и оценивания. Так, на обучении в ИТМО («Современный искусственный интеллект в вузе», совместная программа ИТМО и Альфа-банка, осень 2024) Александр Бухановский ввел ненаучный, но очень точный термин – «тухлый ИИ». Это ситуация, когда студент (и что уж умалчивать, иногда и преподаватель) перекладывает решение задачи полностью на ИИ, без проверки, используя как «волшебную коробочку со знаниями», «маленьких гномиков», которые сделают работу за тебя, пока ты листаешь сторизы. Пока я с печально наблюдаю, что ИИ в обучении чаще всего тухлый-претухлый :) А следовательно, тема формирования ИИ-грамотности и ИИ-устойчивых заданий актуальна как никогда.