Автор Том Симоните
Программа Международного бакалавриата - International Baccalaureate (IB) отменила экзамен с высокими ставками из-за Covid-19. Формула, которую она использовала для «прогнозирования» баллов, озадачивает учеников и преподавателей.
Программа Международного бакалавриата использовала формулу, включающую в себя оценки успеваемости учащихся, прогнозируемые оценки и исторические результаты IB из их школы вместо экзамена в конце года.
Анатита Нагпал, которой исполнилось восемнадцать лет, опасается, что ее планы начать подготовку этой осенью чтобы стать врачом были сорваны статистической моделью.
Нагпал, которая живет в Геттингене, Германия, было предложено место и стипендия в Нью-Йоркском университете. Ее принятие зависело от ее результатов в дипломе Международного бакалавриата, двухлетней программе для средней школы, признанной колледжами и принятой более чем 170 000 студентами в этом году, большинство из которых находятся в США. Но она показала оценки хуже, чем ожидалось.
Подростковые сожаления по поводу оценок не являются чем-то необычным, но то, как основа программы IB Diploma рассчитала оценки в этом году, было необычным. Результаты, опубликованные в понедельник, были определены по формуле, которую система программы IB, спешно развернула после отмены своих обычных весенних экзаменов из-за Covid-19. Система использовала сигналы, в том числе оценки учащихся по заданиям и оценки предыдущих классов в их школе, чтобы предсказать, что они набрали бы, если бы пандемия не помешала проведению очных тестов.
Нагпал и многие другие ученики, родители и учителя говорят, что эти прогнозы не оправдались. Они говорят, что многие студенты получили подозрительно низкие оценки, разрушив их планы на осень и далее. Запасной план Нагпал, если она пропустит Нью-Йоркский университет, заключался в изучении медицины в Германии, но она не думает, что ее оценки ниже ожидаемых позволят ей получить место. «Как и многие, я была очень шокирована», - говорит она. Позже Нагпал получила электронное письмо от Нью-Йоркского университета, в котором говорилось, что они не приняли решение о ее поступлении. NYU заявило, что не комментирует отдельные случаи.
Более 15 000 родителей, учеников и учителей подписали онлайн-петицию с просьбой к IB «по-другому подходить к их алгоритму оценки и сделать его более справедливым».
Фонд отказался отвечать на вопросы о своей системе, но сказал, что он был проверен по сравнению с пятью годами прошлых результатов, и что разочарованные студенты могут использовать существующий процесс апелляции, который происходит за плату. Фонд опубликовал сводную статистику, показывающую, что в этом году средний балл был несколько выше, чем в прошлом году, и говорится, что распределение оценок было схожим.
Один учитель математики в школе на Ближнем Востоке говорит, что IB должен раскрыть всю работу своей модели для внешнего контроля. Он и его коллега с докторской степенью по математике ломают голову над его дизайном, так как несколько студентов потеряли стипендии в лучших университетах, получив результаты намного ниже, чем ожидали их учителя. Некоторые несдавшие студенты теперь не уверены, как они будут платить за колледж. «Мое единственное предположение - некорректная модель», - говорит он.
Опасения по поводу некорректных математических моделей возрастают, так как все больше компаний и правительств применяют компьютеры для решения традиционно человеческих проблем, таких как принятие решения о залоге, выявление подозреваемых в совершении преступления и принятие решения о том, что такое ненавистническая речь. Искоренение предвзятости и неточности в таких системах является растущей областью активности и научного сообщества.
Люди, подвергающие сомнению полученные из алгоритмов оценки IB, теперь поднимают некоторые из тех же самых вопросов. Они задаются вопросом, как система была спроектирована и протестирована, почему ее работа не была полностью раскрыта, и имеет ли смысл использовать формулу для определения оценок, которые могут определять возможности человека в жизни.
Когда Covid-19 захватил мир в марте, многие подростки на последнем курсе средней школы оказались в тяжелом положении. Приказы об укрытии на месте делали трудным или невозможным выполнение окончательных заданий или тестов, которые могли бы определить их колледж и жизненный выбор.
Поставщики тестов старались изобрести новые способы оценки учащихся. В США Служба образовательного тестирования, которая предоставляет GRE, и Совет колледжей, который проводит экзамены AP, перевели свои тесты в онлайн. Это вызвало причуды и сбои - например, требование к студентам сдавать свои тесты одновременно, независимо от часового пояса и повторных тестов, вызванных техническими ошибками, - но сохраняло видимость нормального процесса.
IB, штаб-квартира которой находится в Женеве, решила использовать вместо этого статистическую формулу, добавив к растущему списку технических исправлений, предложенных для автоматизации, чтобы предотвратить последствия пандемии.
Работа над дипломом IB и сроки получения результатов оказались особенно вредными для студентов IB, поступающих в колледжи США. В отличие от тестов AP, которые обычно отделены от оценок средней школы, результаты IB предназначены для отражения работы учащегося за год. Студенты IB часто получают поступление в колледж на основе прогнозируемых оценок, и они представляют свои окончательные результаты, когда они становятся доступными летом. Некоторые колледжи, в том числе NYU и Northeastern, предупреждают на своих приемных листах, что учащиеся, чьи результаты IB недостаточно приблизились к этим прогнозам, могут потерять свое место.
В обычное время студенты-дипломники IB выбирают шесть предметов из вариантов, таких как физика и философия, и получают итоговые оценки, которые частично определяются заданиями, но в основном письменными тестами, проводимыми весной. Программа предлагается около 900 государственными школами в США и распространена в международных школах по всему миру. В марте IB отменил все тесты и заявил, что будет рассчитывать итоговые оценки каждого студента, используя метод, разработанный неназванной образовательной организацией, которая специализируется на анализе данных.
Идея состояла в том, чтобы использовать прежние модели, чтобы сделать вывод о том, что ученик набрал бы в 2020 году, не подверженный смертельной пандемией. IB не раскрывает подробности методологии, но сказал, что оценки будут рассчитываться на основе баллов, полученных учащимся, прогнозируемых оценок и исторических результатов IB в их школе. Фонд сказал, что границы отметок были установлены, чтобы отразить проблемы дистанционного обучения во время пандемии. Для школ, в которых отсутствуют исторические данные, прогнозы будут основываться на данных, собранных из других школ.
В видео, опубликованном IB об этом процессе, Энтони Фарлонг, менеджер фонда по исследованиям и разработке в области оценки, сказал, что система по сути создала «уравнение на заказ» для каждой школы.
Одна учительница изобразительных искусств в одной из школ США говорит, что то, что она и ее коллеги видели, говорит о том, что оно не было хорошо сделано. «Когда я увидела отметки, я была поражена», - говорит она. «Я всегда консервативна в своих прогнозируемых оценках, но каждый студент, кроме одного, был понижен в оценке». Из 15 студентов, с которыми она работает, четверо должны пересмотреть свои планы на эту осень, потому что они пропустят учебу в колледже, чего она не ожидала ни от кого из них.
Определить, есть ли у системы IB недостатки, сложно, не зная ее формулу или входы и выходы. То, что некоторым людям не нравятся результаты анализа данных, не означает, что они неверны. Но Суреш Венкатасубраманян, профессор Университета штата Юта, который изучает социальные последствия автоматического принятия решений, говорит, что, похоже, IB мог бы развернуть свою систему более ответственно. «Все это указывает на то, что происходит, когда вы пытаетесь установить какой-то автоматизированный процесс без прозрачности», - говорит он. «Бремя доказательства должно быть на системе, чтобы оправдать ее существование».
Анализ данных является более мощным, чем когда-либо, но он по-прежнему далек от возможности прогнозировать сложные будущие действия человека. Модели, которые экстраполируют прошлые статистические тенденции, могут в конечном итоге относиться к людям несправедливо, потому что их обстоятельства различны, даже если результаты в среднем соответствуют прошлым моделям.
«Что-то не так с алгоритмом».
Венкатасубраманян говорит, что основание оценок ученика на прошлых тенденциях в их школе, потенциально не связанных с собственной школьной карьерой ученика, может быть несправедливым. Использование данных из других школ - как IB сделал для школ с небольшим послужным списком - является «красным флагом», говорит он, потому что это будет означать, что оценки одних учащихся рассчитываются не так, как другие.
Констанс Лавернь, чей сын в Великобритании получил оценки IB ниже ожидаемого и пропустил предпочитаемый им колледж, является одной из многих родителей, пытающихся понять, что произошло. Она говорит, что ее опыт работы в тесном контакте с аналитиками данных в технологической отрасли заставляет ее с подозрением относиться к методологии IB. Естественно, это дало бы более шумные результаты для небольших классов, таких как ее сын, потому что они предлагают меньше прошлых данных, считает она. «Что-то не так с алгоритмом», - говорит Лавернь.
Учитель математики на Ближнем Востоке сказал, что, по его мнению, его школа пострадала из-за того, что IB объявил и откалибровал свою модель. Студенты в школе представили свои задания до того, как IB сказал, что эти задания помогут управлять моделью оценки. Некоторые ученики IB в других школах еще не представили эти задания, что позволило им приложить дополнительные усилия, зная, что им не нужно готовиться к экзаменам. В эти выходные он планирует поработать со своим коллегой по математике и программным обеспечением, чтобы выяснить, где формула IB может пойти не так.
Многие студенты, получившие неутешительные результаты, теперь смотрят на ноябрь, когда IB, как правило, предлагает второй раунд очных тестов, и они могут сдать письменный тест, который был отменен. Нагпал, разочарованная студент-медик, намеревается принять участие, заплатив около 700 евро (791 доллар). Если Covid-19 также нарушит эти тесты, она надеется, что IB переместит их в онлайн, а не будет пытаться проводить какие-либо эксперименты по классификации на основе данных.