Автор: Одри Уоттерс
В своем бестселлере «AI Snake Oil»(Змеиное масло AI) Арвинд Нараянан и Саяш Капур начинают главу «Как прогнозирующий ИИ дает сбой» с истории из Университета Маунт-Сент-Мэри: в 2015 году школа провела опрос среди первокурсников, чтобы выявить тех, кто испытывает трудности, — по ее словам, с целью повысить показатели удержания студентов и выпускников. Но план заключался не в том, чтобы предложить дополнительную поддержку студентам, которые рисковали бросить учебу. Скорее, как президент якобы сказал преподавателям.
Он заключался в том, чтобы побудить этих самых студентов уйти. «Моя краткосрочная цель — чтобы 20–25 человек ушли до 25 [сентября]», — сказал он перед крайним сроком представления данных федеральному правительству. «Это повысит наш показатель удержания студентов на 4–5%».
Преподаватели возразили, заявив, что невозможно судить о дальнейшей судьбе человека всего лишь после нескольких недель учебы в колледже. «Это сложно для вас, потому что вы думаете о студентах как о милых кроликах, но вы не можете, — ответил президент. — Вы просто должны утопить кроликов... приставить к их головам пистолет Глок».
Хотя его слова могли шокировать — и впоследствии он действительно ушел в отставку — есть много компаний, которые продают школам программное обеспечение, обещающее именно такие выводы: кто, скорее всего, добьется успеха, кто, скорее всего, потерпит неудачу, к каким специальностям следует направлять студентов, чтобы увеличить вероятность первого, а не второго. Подобные аналитические инструменты повсеместно используются в школах и часто встроены в программное обеспечение, которое вынуждены использовать студенты и преподаватели: например, в систему управления обучением или систему информации о студентах.
Конечно, до недавнего времени эти инструменты не продавались как «ИИ» — они продавались как «аналитика обучения», «прогнозная аналитика» или «решения для успеха студентов». Несмотря на эвфемистическую формулировку, которая пытается создать впечатление, что это что-то для студентов, на самом деле это что-то, что делается с ними — отслеживание и оценка без их ведома или согласия. И, как предупреждают Нараянан и Капур, последствия могут быть разрушительными, поскольку эти прогнозирующие системы все чаще автоматически принимают решения, меняющие жизнь, практически без контроля или участия человека.
Такова перспектива автоматизации; такова перспектива «ИИ». Машина может утопить кроликов; вам не нужно марать руки кровью.
Для таких прогнозов этим инструментам требуется много данных. Часть данных поступает из внутренних систем — из LMS, SIS, из приемных комиссий или отделов финансовой помощи. Часть данных поступает из внешних систем — из общедоступных онлайн-источников (будь то открытые данные или данные, извлеченные с помощью веб-парсинга). Как я уже говорил, это данные о прошлом — даже не о прошлом отдельного студента, хотя иногда и это включается. Это исторические данные, и мы знаем, что история образования — будь то высшее образование или K12 — полна расистских и сексистских практик, неравного доступа, несправедливых дисциплинарных мер (под «дисциплинарными» я имею в виду нарушения поведения); несправедливых дисциплинарных предубеждений (под «дисциплинарными» я имею в виду приоритет факультетов STEM над гуманитарными. Или то, что мы вообще слушаем бизнес-школу).
Прогнозная аналитика отрицает свободу воли; она лишает людей возможности контролировать свою жизнь, привязывая их к прошлому других. Если образование — это практика формирования собственного будущего, то прогнозная ИИ по сути своей антиобразовательна.
«Grammarly заявляет, что ее ИИ-агент может предсказать оценку «А» за работу», — сообщил The Verge. Это невозможно.
По словам компании, он будет использовать данные — «общедоступную информацию» — о профессорах, чтобы помочь студентам формировать свой стиль письма. Это означает Ratemyprofessors.com, не так ли — сайт, известный своей особой враждебностью по отношению к женщинам. Хотя печально известная рейтинговая система «перец чили», в которой студенты могли оценивать «привлекательность» своих профессоров, была удалена в 2018 году, Grammarly по-прежнему закрепляет эту враждебность между преподавателями и студентами, подрывая человеческие отношения в классе с помощью этих ложных алгоритмических обещаний.
Этот антагонизм закрепляется в коде — намеренно, как можно предположить — поскольку технологическая индустрия активно работает над подрывом доверия, которое мы испытываем друг к другу. Zoom будет предсказывать, кто будет посещать занятия, кто будет участвовать. TurnItIn будет предсказывать, кто будет списывать (или, если вы студент, предсказывать, поймают ли вас). EAB будет предсказывать, кто бросит учебу. Нет времени — по крайней мере, как считает президент Маунт-Сент-Мэри — чтобы узнавать друг о друге, заботиться друг о друге. Нет времени, нет денег, нет стимула, когда все является лишь рынком, которым можно манипулировать, играть.
По заявлению компании, она будет использовать данные – «общедоступную информацию» – о профессорах, чтобы помочь студентам в написании работ. Это означает Ratemyprofessors.com, не так ли? Сайт, известный своей особой враждебностью по отношению к женщинам. Хотя печально известная система оценки «перец чили», в которой студенты могли оценивать «привлекательность» своих профессоров, была удалена в 2018 году, Grammarly по-прежнему закрепляет эту враждебность между преподавателями и студентами, подрывая человеческие отношения в классе с помощью этих ложных алгоритмических обещаний.
Этот антагонизм закрепляется в коде — намеренно, как можно предположить — поскольку технологическая индустрия активно работает над подрывом доверия, которое мы испытываем друг к другу. Zoom будет предсказывать, кто будет посещать занятия, кто будет участвовать. TurnItIn будет предсказывать, кто будет списывать (или, если вы студент, предсказывать, поймают ли вас). EAB будет предсказывать, кто бросит учебу. Нет времени — по крайней мере, как считает президент Маунт-Сент-Мэри — чтобы узнавать друг о друге, заботиться друг о друге. Нет времени, нет денег, нет стимула, когда все является лишь рынком, которым можно манипулировать, играть.
Вполне возможно, что люди слишком преувеличивают значение «генеративного ИИ» в образовании как чего-то нового и преобразующего, тогда как на самом деле все это «прогностический ИИ» — все это вредно и эксплуататорско.
Все это подрывает наше будущее в попытке поддержать элиту, которая ненавидит, когда наше будущее (будущее образования, наше будущее через образование) становится более справедливым.
