Авторы: Лодж Дж. М., Ховард С., Бирман М., Доусон П. и агентство TEQSA (Tertiary Education Quality and Standards Agency), Австралия
Руководящие принципы
Эти принципы отражают суть соображений, которые необходимы для оценки в высшем образовании с присутствием ИИ. Эти принципы в сочетании с важными принципами образуют основу, на которой строятся ключевые положения.
1. Опыт оценки и обучения дает учащимся возможность этически и активно участвовать в жизни общества, где ИИ распространен повсеместно.
ИИ представляет собой срочный катализатор перемен. Он не только влияет на то, как можно оценивать обучение учащихся, но также влияет на то, что стоит оценивать и, следовательно, на то, что и как изучают учащиеся. Это обязательно включает в себя способность использовать инструменты ИИ, а также более широкое понимание этики, ограничений, предубеждений и последствий ИИ. Хотя острые проблемы связаны с академической честностью, долгосрочная задача разработки системы оценивания будет состоять в том, чтобы вдумчиво и на основе фактических данных внедрить эти новые технологии в высшее образование.
Реагируя на риск, создаваемый генеративным ИИ, необходимо сосредоточиться не только на том, что неуместно, но и на том, что уместно.
2. Формирование достоверных суждений об обучении учащихся во времена ИИ требует множественных, инклюзивных и контекстуализированных подходов к оценке.
Не существует единого типа оценивания, который мог бы учитывать все желательные и нежелательные варианты использования ИИ учащимися. Использование нескольких оценок разных типов при их триангуляции обеспечивает большую надежность и позволяет применять более инклюзивные методы. Этот принцип отражает подход к разработке оценивания, необходимость в котором становится все более актуальной с появлением генеративного искусственного интеллекта.
Предложения
Следующие предложения подробно описывают принципы высокого уровня и определяют желательные акценты для оценки высшего образования в мире, где студенты будут использовать ИИ, включая генеративный ИИ, во время учебы и жизни.
В оценке следует подчеркнуть…
1. …адекватное, подлинное участие в оценке ИИ
Оценивание должно побуждать учащихся к критическому анализу роли и ценности ИИ в работе и учебе в соответствии с дисциплинарными или профессиональными ценностями. Задачи оценки должны быть разработаны так, чтобы способствовать ответственному и этичному использованию ИИ способами, соответствующими как задаче, так и дисциплине. Такое участие должно быть значимым, поддерживаться четким обучением в рамках программы обучения и соответствовать результатам обучения по программе. То, что уместно, будет варьироваться в зависимости от времени и места. Обучение работе с ИИ быстро становится критически важной способностью для многих, если не для большинства, выпускников. Если критическому, этичному и продуктивному взаимодействию с ИИ обучают и осмысленно интегрируют в задачи оценки, то учащиеся будут рассматривать его как важную часть своего обучения, а не как дополнительный компонент.
Примеры:
Программа бакалавриата по коммерции устанавливает для своих выпускников результат овладения цифровыми технологиями и разрабатывает предмет по маркетингу, посвященный развитию соответствующих дисциплинарных способностей в отношении генеративного ИИ. Оценка включает в себя как задачу по созданию соответствующих генеративных подсказок ИИ, так и презентацию класса об этических и юридических ошибках использования больших языковых моделей на основе этой задачи. Оценка последипломного инженерного образования требует от студентов использования искусственного интеллекта для проектирования и создания робота. Сопутствующая документация определяет конкретные ограничения и риски использования и неиспользования ИИ в рамках конкретных вариантов проектирования.
2. …системный подход к оценке программы, согласованный с дисциплинами/квалификациями.
Оценка проводится на протяжении всей программы обучения. Рекомендации по планированию оценки должны охватывать всю программу и/или ее подструктуры, например, специальности, а не применяться исключительно на уровне отдельных задач или подразделений. Тогда оценка становится вопросом образовательного дизайна, допуская использование нескольких методов, интегрированных задач и значимой обратной связи/диалога между преподавателями и учащимися для поддержки суждений о прогрессе и достижениях. Системный/программный подход к оцениванию предоставляет преподавателям множество средств для вынесения суждений об успеваемости учащихся, не теряя при этом акцента на обратную связь и диалог. Эти суждения можно фиксировать или отслеживать с течением времени по мере развития знаний и навыков учащихся. Это, в свою очередь, способствует повышению достоверности решения в целом, а не тому, чтобы полагаться на серию единичных, нескоординированных решений. Этот тип подхода становится основным фактором при обеспечении соответствующей аттестации в связи с появлением генеративного ИИ.
Примеры:
Диплом по физиотерапии отображает все свои оценки в виде ряда четких результатов обучения для выпускников, которые подкрепляются множеством небольших, оцениваемых заданий, включая письменные задания, взаимодействие с клиническими технологиями, включая искусственный интеллект, наблюдаемые клинические навыки, интерактивные устные выступления и отчеты руководителя. клинические размещения. Эти задачи собираются, сопоставляются и периодически анализируются с использованием портфолио (с тренером/наставником) для отслеживания достижений и прогресса на пути к моменту принятия решения. Бакалавриат гуманитарных наук разрабатывает подход к оценке, который охватывает всю программу обучения, но также позволяет объединить специальности в рамках определенных дисциплин. Общие результаты обучения разрабатываются для дисциплинарных специализаций и для программы в целом и включают результаты о цифровом мастерстве. Студенты проходят серию учебных пособий со множеством интерактивных устных занятий, интегрированных по ключевым темам, которые становятся все более углубленными по мере того, как студенты осваивают одну или две дисциплины. Задачи четко согласованы с программными и дисциплинарными результатами обучения.
3. …процесс обучения.
Демонстрация процесса обучения с течением времени и в контексте может способствовать лучшему пониманию процессов осмысления обучающимися, того, что они в конечном итоге знают и могут делать. Учебные задачи должны предоставлять возможности для раскрытия мышления, компетенций и других качеств, воплощенных в результатах обучения. Задачи оценки должны предоставлять возможности для обратной связи о результатах работы студентов (например, эссе, лабораторный отчет, отраслевое описание или видеоматериал), которые отражают критическое мышление, суждения, принятие решений, включая принятие этических решений, и размышление. по процессу. Это компоненты процесса, которые ИИ менее способен моделировать. Оценка письменных или иным образом выполненных работ, поддающихся оценке, является проблемой в контексте ИИ, поскольку процессы обучения по своей сути непрозрачны для преподавателей, а зачастую и для учащихся. Это приводит к трудностям в определении того, что было создано людьми, а что — искусственным интеллектом. Там, где уместно создавать оцениваемые продукты как ИИ, так и учащимися, схема оценивания должна предоставлять четкие возможности для сбора фактических данных, когда учащиеся критически относятся к использованию ИИ, демонстрируют суждения о том, как лучше всего использовать ИИ, и размышляют над процессом обучения. .
Примеры:
В программе бакалавра наук факультет физики пытается разбить большую оценку на составные части и действия, показывая изменения с течением времени. Студенты демонстрируют свое критическое мышление, раскрывая способы принятия решений, в том числе тупиковые, а также то, как задача связана с соответствующими практическими занятиями и учебными пособиями. Задание представляет собой набор свидетельств студенческих процессов, а не конечный продукт: основное внимание уделяется тому, как создается продукт, а не тому, как генеративный ИИ моделирует его создание. В аспирантуре по юриспруденции студенты пишут эссе, в котором обосновывают позицию по юридическому вопросу, которая последовательно основывается на отзывах из разных источников: сверстников, себя, учителя и генеративного искусственного интеллекта. Явное включение генеративного ИИ требует от студентов различать достоверность источников и предоставлять конкретное обоснование своего выбора. Представленный оцениваемый продукт направлен на реагирование на эту обратную связь и сбор доказательств развития их суждений при формировании юридических аргументов.
4. …возможности для учащихся должным образом работать друг с другом и с ИИ
Дизайн оценки ИИ и оценка достижений учащихся должны обеспечивать возможность для качественной совместной работы. Это будет включать в себя формулирование и разработку приемлемых способов работы учащихся друг с другом и ИИ. Есть данные, показывающие, что ИИ интегрируется в сложную сеть взаимодействия с машинами, сверстниками и преподавателями; поэтому индивидуальная работа студентов с ИИ — не единственный способ использования этих технологий. Крайне важно, чтобы учащиеся могли надлежащим образом сотрудничать друг с другом, используя искусственный интеллект и другие технологические инструменты. Студенты должны описать и поразмышлять о роли людей и технологий в том, как осуществлялась совместная работа. Необходимым условием достоверной оценки является разъяснение учащимся границ дозволенного и недозволенного при работе с ИИ. Благодаря этой формулировке можно выделить методы сотрудничества, которые помогут учащимся взаимодействовать друг с другом и с искусственным интеллектом. Кроме того, чтобы обеспечить более инклюзивную оценку, доступ и/или возможности для работы с ИИ не следует предполагать, а включать в учебные программы. Более того, благодаря этой формулировке можно выделить методы сотрудничества, которые помогут учащимся взаимодействовать друг с другом и с искусственным интеллектом.
Примеры:
По предмету «Журналистика» в задании указано, что группа студентов может использовать генеративный искусственный интеллект, чтобы помочь в составлении письменного ответа на задание, но учащиеся должны объяснить, какие подсказки были использованы, какие идеи были генерированы и как группа затем совместно сформировали вклад используемых инструментов. У мастера дизайна интерьера есть заключительный творческий проект. Студентов просят работать в группах с инструментами искусственного интеллекта, чтобы составить краткое описание проекта, а затем эксперты выносят суждения о характере и продуктивности сотрудничества. В рамках этого задания учащиеся ведут дневник или журнал процесса совместной работы, который также оценивается.
5. …безопасность в значимых точках программы для принятия решений о прогрессе и завершении обучения.
Во многих дисциплинах может возникнуть необходимость понять и доказать, на что учащиеся способны без ИИ. Вместо того, чтобы пытаться защитить каждую задачу оценки от использования ИИ, это предложение предполагает определение ключевых моментов оценки на уровне программы и их обеспечение. Эти моменты оценки, вероятно, будут связаны с результатами обучения на уровне программы и важны либо для прохождения студентом курса, либо для оценки завершения программы. Важно отметить, что это предложение отличается от предложения 2, но работает параллельно; он дополняет целостное понятие системной оценки, уделяя особое внимание конкретным критическим моментам программы. Поскольку безопасность оценки того типа, который требуется для ограничения использования ИИ, часто требует больших ресурсов, невозможно применить эти подходы ко всем оценкам. Необходимо направить этот подход туда, где он будет иметь наибольший эффект, а именно на те моменты оценки, которые обеспечивают большую уверенность в том, что учащиеся, получившие квалификацию, достигли результатов программы.
Примеры:
Команда программы бакалавриата в области компьютерных наук определяет завершающий проект как ключевой момент для обеспечения обучения для получения степени. Чтобы защитить проекты, преподаватели встречаются со студентами на протяжении всего периода обучения и участвуют в интерактивных проверках кода. Чтобы обеспечить это изменение, экзамен удален из вводного модуля первого года обучения, который теперь на 100% представляет собой внутрисеместровую оценку. Команда программы бакалавриата отмечает, что, хотя у них есть экзамены почти во всех подразделениях первого и второго курса, на третьем году программы их нет, и все это домашние задания без присмотра. Это касается команды, поскольку на последнем году обучения проводится сертификация достижений учащихся. Команда решает составить долгосрочный план по анализу оценки по всей программе, чтобы увидеть, как они могут интегрировать подход к оценке с использованием нескольких методов для ключевых моментов оценки, сохраняя при этом безопасность. Команда отменила некоторые экзамены с первого года обучения и ввела экзамен в одном модуле последнего года обучения по каждой специальности. Это приводит к меньшему количеству экзаменов по курсу в целом, но к более целенаправленной гарантии обучения.
Заключение
Изложенные здесь руководящие принципы и предложения призваны помочь в принятии решений и действиях в будущем. Однако они не являются шаблонным рецептом и не зависят от способа доставки. Действительно, представленные здесь принципы и предложения создадут различные проблемы в онлайн- и внешнем способах обучения. Эти принципы и предложения, вероятно, будут применяться к этим контекстам по-разному, но, тем не менее, они применимы. Идеи, изложенные в этом документе, также следует рассматривать комплексно. Подход к оцениванию в очном, внешнем, онлайн-режиме или смешанном режиме будет включать элементы всех принципов и предложений, а не полагаться в значительной степени на один или два. Это предполагает работу на уровне квалификации или программы, а не только на уровне отдельных подразделений. По мере развития этих технологий этот документ призван служить руководством для постоянного обсуждения и принятия решений и будет соответствующим образом пересматриваться и обновляться. Эти беседы обязательно будут включать изучение взаимосвязей между оценкой, преподаванием, способом доставки и обучением в сложной, меняющейся среде. Чтобы реализовать реформы, изложенные в этом документе, поставщикам высшего образования, возможно, также придется задаться вопросом, что им нужно, чтобы прекратить преподавание и оценку, поскольку некоторые результаты обучения начинают терять актуальность или становятся невозможными для оценки. Крайне важно, чтобы в эти дискуссии был включен целый ряд голосов, включая студентов, преподавателей, лидеров образования, практиков справедливости, образовательных технологов, образовательных дизайнеров, коренных народов, высших организаций, поставщиков технологий и профессиональных агентств по аккредитации. Мы понимаем, что изменение практики оценки в необходимом масштабе не будет простым. Помимо других сложных вопросов, существуют вопросы рабочей нагрузки и аккредитации, которые будут препятствовать изменениям, предусмотренным в этом документе. Будет широко распространена потребность в создании академических и профессиональных кадров для работы с ИИ. Следует признать, что ИИ также предоставляет возможности для улучшения практики, например, в виде обратной связи, в дополнение к рискам, которые мы изложили и на которые мы ответили в этом документе. Вместе этот сектор может использовать возможности, открывающиеся в это время перемен, для улучшения дизайна оценивания и построения лучшей системы высшего образования, уделяя особое внимание партнерству, консенсусу и важности знаний и работы вместе с нашими студентами.
