Автор Джеффри Р. Янг
Осознание опасности алгоритмического смещения в системах ИИ растет. Ранее в этом году 42-летний житель Детройта был ошибочно арестован после того, как система распознавания лиц ложно сопоставила его фотографию с фотографией с камеры видеонаблюдения. Было показано, что такие системы дают больше ложных совпадений на фотографиях чернокожих, чем белых сверстников.
Некоторые ученые обеспокоены тем, что ИИ в системах управления обучением, используемых в колледжах, может привести к ошибочной идентификации в академических условиях, например, ошибочно помечая некоторых студентов как плохо успевающих, что может привести к тому, что их преподаватели будут относиться к ним по-другому или иным образом ставить их в невыгодное положение.
Например, в популярном LMS Canvas была функция, помечавшая студентов, которые опаздывали на работу, и помечала их на информационной панели, показывающей профессорам, что такие студенты с меньшей вероятностью преуспевают в классе, говорит Роксана Марачи, доцент образования в штатовском университете Сан-Хосе. Тем не менее, она представляет сценарии, в которых ученики могут быть неверно идентифицированы, например, когда ученики выполняют задания вовремя, но альтернативными способами (например, на бумаге, а не в цифровой форме), что приводит к ложным сопоставлениям.
«Студенты не знают, что их маркируют так, что их профессора видят», - говорит она.
Колледжи настаивают на том, чтобы ученые были невероятно осторожны с данными и предметами исследований в исследовательской части своей работы, но не с инструментами, которые они используют для обучения. «Это базовая этика исследования - информировать студентов о том, как используются их данные», - отмечает она.
Хотя эта конкретная функция красного флага больше не используется в Canvas, Марачи говорит, что она обеспокоена тем, что колледжи и компании экспериментируют с учебной аналитикой способами, которые не являются прозрачными и могут быть склонны к алгоритмическому смещению.
В своей научной статье, опубликованной недавно в журнале «Преподавание в высшем образовании: критические перспективы», она и ее коллега призывают к «повышению осведомленности общественности об использовании прогнозирующей аналитики, влиянии алгоритмического смещения, необходимости в прозрачности алгоритмов и принятии этических и правовых норм» защиты для пользователей, которые обязаны использовать такие программные платформы». Статья была частью специального выпуска, посвященного «датафикации преподавания в высшей школе».
По словам Марачи, в то время, когда колледжи и университеты заявляют, что они вновь заявляют о своей приверженности борьбе с расизмом, справедливость данных должна быть в центре внимания. «Системы, которые мы внедряем, прокладывают пути для институционального расизма 2.0, если мы не решим его - и если мы не поставим ограждения или не устраним ожидаемый вред», - добавляет она.
Руководители LMS Canvas, выпускаемой компанией Instructure, настаивают на том, что они серьезно относятся к конфиденциальности данных и работают над тем, чтобы сделать свою политику более понятной для студентов и преподавателей.
Всего три недели назад компания наняла адвоката по вопросам конфиденциальности Дейзи Беннет, чтобы помочь в этой работе. Она планирует написать простую версию политики конфиденциальности компании и создать общедоступный портал, объясняющий, как используются данные. Кроме того, компания созвала совет по конфиденциальности, состоящий из преподавателей и студентов, который собирается каждые два-три месяца, чтобы давать советы по методам обработки данных. «Мы делаем все возможное, чтобы привлечь наших конечных пользователей и клиентов», - сказал Джаред Стейн, вице-президент по стратегии высшего образования в Instructure.
Он подчеркнул, что статья Марачи не указывает на конкретные случаи нанесения студентам вреда от данных, и что цель функций учебной аналитики часто состоит в том, чтобы помочь студентам добиться успеха. «Должны ли мы принять эти страхи о том, что может пойти не так, и полностью отбросить потенциал для улучшения преподавания и обучения?» он спросил. «Или мы должны экспериментировать и двигаться вперед?»
Статья Марачи вызывает обеспокоенность в связи с заявлением, сделанным во время телеконфеенции Instructure генеральным директором Дэном Голдсмитом относительно новой функции:
«Наша инициатива DIG - это, прежде всего, платформа для [Машинного обучения] и [Искусственного интеллекта], и мы будем поставлять и монетизировать ее, предлагая различные функциональные области прогнозирующих алгоритмов и идей. Может быть, такие вещи, как успех ученика, его удержание, обучение и консультирование, карьерный рост, а также ряд других показателей, которые помогут повысить ценность учреждения или связность между учреждениями».
Другие ученые также сосредоточились на комментариях, отметив, что цели компаний иногда отдают предпочтение монетизации функций, а не помощи студентам.
Стейн из Instructure сказал, что Голдсмит «говорил о том, что было возможно с данными, и не обязательно отражают то, что мы на самом деле строили, - он, вероятно, просто преувеличил то, что мы имеем как видение использования данных». Он сказал, что изложил планы и стратегию инициативы DIG в посте блога, что указывает на ее приверженность «этическому использованию учебной аналитики».
Что касается беспокойства о LMS и других инструментах, ведущих к институциональному расизму? "Должны ли мы иметь ограждения? Абсолютно."
Конкурирующие истории
Марачи сказала, что она говорила с сотрудниками Instructure о своих проблемах, и что она ценит их готовность слушать. Но аргумент, который она и другие ученые приводят, является критикой того, стоит ли вообще осуществлять учебную аналитику.
Во вступительной статье к серии журналов о датафикации преподавания в колледже Бен Уильямсон и Сиан Бэйн из Университета Эдинбурга и Суэллен Шэй из Университета Кейптауна изложили широкий список проблем, связанных с перспективой использования больших данных в обучении.
«Тот факт, что некоторые аспекты обучения легче измерить, чем другие, может привести к упрощенным элементам поверхностного уровня, которые играют более заметную роль в определении того, что считается успехом», - пишут они. «В результате более высокий порядок, расширенное и творческое мышление могут быть подорваны процессами, которые способствуют формальной приверженности статическим рубрикам».
Они помещают датафикацию в контекст того, что они считают коммерциализацией высшего образования, - как способ восполнить пробелы, вызванные политическими решениями, которые сократили государственное финансирование колледжа.
«Здесь существует явный риск того, что педагогика может быть изменена, чтобы обеспечить ее «соответствие» для цифровых платформ, которые необходимы для генерации данных, необходимых для оценки непрерывного обучения студентов», - утверждают они. «Более того, поскольку ученики становятся видимыми и классифицируются с точки зрения количественных категорий, это может изменить взгляд учителей на них и то, как ученики воспринимают себя как учеников».
И массовое движение к онлайн-обучению из-за пандемии COVID-19 делает их проблемы «еще более насущными», добавляют они.
Введение заканчивается призывом к более широкому переосмыслению высшего образования, когда колледжи рассматривают вопросы конфиденциальности данных. Они цитируют книгу Ревин Коннелл под названием «Хороший университет: чем занимаются университеты и почему настало время радикальных перемен», в которой «изложено видение «хорошего университета», в котором силы корпоративной культуры, академического капитализма и перформативного управленчества отклоняются в пользу демократических, вовлеченных, творческих и устойчивых методов».
Они надеются, что высшее образование будет рассматриваться как социальное и общественное благо, а не продукт.
