Смещение (Предвзятость, Bias) – феномен наблюдения за результатами, систематически неверно описываемыми из-за ошибочных допущений. Например, Нейронная сеть (Neural Network), принимающая решения о выдаче кредита малому предпринимательству на основании исторически смещенных в пользу белокожих мужчин данных, чаще отказывает в кредите афроамериканцам и женщинам. Термин тесно связан с понятием Справедливости (Fairness).
Мирей Хильдебрандт, юрист и философ, работающая на стыке права и технологий, много писала и говорила о проблеме предвзятости и справедливости в Алгоритмах (Algorithm) Машинного обучения (ML). В своей статье об агностическом и свободном от предвзятости машинном обучении, (Hildebrandt, 2019) она утверждает, что свободного от смещения машинного обучения не существует и для того, чтобы алгоритм мог моделировать данные и делать релевантные прогнозы, необходимо корректировать предвзятое отношение. Три основных типа смещений, которые могут возникать в системе прогнозирования:
- Присущее любой системе восприятия, обусловленная несовершенством органов восприятия или аппаратуры
- Несправедливое по отношению к определенным социальным группам
- Дискриминирующее на правовых основаниях
Производительность Моделей (Model) машинного обучения достигается за счет минимизации Целевой функции затрат (Cost Function). Выбор функции стоимости и, следовательно, пространства возможных значений вносит в систему то, что мы называем производственной предвзятостью. Другие источники ее исходят из контекста, цели, адекватности Тренировочных (Train Data) и Тестовых данных (Test Data), используемого метода Оптимизации (Optimization), а также из-за компромиссов между скоростью, точностью, Переобучением (Overfitting) и чрезмерным обобщением. Каждый выбор имеет соответствующую "стоимость" непредвзятости. Машинное обучение по умолчанию является предвзятым, поскольку таково фундаментальное свойство подобных систем.
Кроме того, данные обучения также обязательно имеют смещение, и задача Разведочного анализа данных (EDA) состоит в том, чтобы разделять дискриминационную предвзятость, которая как бы подгоняет Наблюдения (Observation) под одну гребенку, и предвзятость как простой вычислительный артефакт.
Без предположений, однако, алгоритм был бы менее производителен при решении задачи, чем при случайном выборе. Этот принцип, формализованный Вольпертом в 1996 году, называют "Теоремой о запрете бесплатного обеда" (No Free Lunch Theorem). Согласно этой теории, все классификаторы имеют одинаковую частоту ошибок при усреднении по всем возможным распределениям данных. Следовательно, классификатор должен иметь определенную предвзятость в отношении определенных распределений, чтобы лучше моделировать их. Выражаясь на языке кредитования малого бизнеса, система принимает свою предвзятость относительно большей успешности белокожих мужчин в сфере малого предпринимательства и потому лучше классифицирует лиц, способных осуществить возврат заимствованных средств, чем если бы исключила гендерную и расовую предвзятость.
Также всегда следует помнить, что данные, используемые для обучения алгоритма, являются конечными и поэтому не отражают реальность. Это также приводит к смещению, которое возникает из-за выбора обучающих и тестовых данных и их совокупности. Еще одно предположение: ограниченные обучающие данные могут моделировать и точно классифицировать тестовые.
«[…] Самое современное машинное обучение основывается на решающем предположении, что распределение обучающих примеров идентично распределению тестовых. Несмотря на то, что нам необходимо сделать это предположение для получения теоретических результатов, важно помнить, что это предположение часто нарушается на практике». © Тим Митчелл
Даже если нам удастся избавить наши системы от смещения, все равно существует вероятность того, что с течением времени предвзятость будет накапливаться. После того, как алгоритмы обучены, налажены и запущены в производство, спустя пару лет легко заметить, как окружающий мир меняется относительно него.
Осознание различных предубеждений, присутствующих в этих системах, требует способности объяснять и интерпретировать их работу, повторяя тему прозрачности выступления Адриана Веллера: если вы не можете проверить это, вы не можете оспорить это. Нам необходимо четко понимать, насколько продуктивным является предвзятость, обеспечивающая функциональность этих систем, и выяснять остающуюся несправедливость либо в обучающем наборе, либо в алгоритмах. Это позволило бы нам сделать вывод о третьем и наиболее серьезном виде предвзятости, которое приводит к дискриминации на запрещенных правовых основаниях.
Кришна Гуммади, глава исследовательской группы сетевых систем в Институте программных систем Макса Планка, много работал над снижением дискриминационной предвзятости в классификаторах, его исследования в этой области касаются дискриминации с вычислительной точки зрения и разрабатывают алгоритмические методы для ее минимизации.
Поскольку системы машинного обучения становятся все более распространенными в автоматизированном принятии решений, очень важно, чтобы мы делали эти системы чувствительными к типу предвзятости, которая приводит к дискриминации, особенно дискриминации по незаконным основаниям. Машинное обучение уже используется для принятия или оказания помощи в принятии решений в следующих областях: набор персонала (отбор кандидатов на работу), банковское дело (кредитные рейтинги / одобрение ссуд), судебная система (оценка риска рецидивизма), благосостояние (социальное пособие, право на участие в жизни ребенка), журналистика (рекомендательные системы новостей) и т.д. Учитывая масштаб и влияние этих отраслей, крайне важно, чтобы мы принимали меры для предотвращения несправедливой дискриминации в них как с помощью юридических, так и технических средств.
Чтобы проиллюстрировать свои приемы, Кришна Гуммади сосредоточился на вызывающем споры инструменте прогнозирования рецидивов под названием COMPAS, разработанном Northpointe Inc., результаты которого используются судьями по всей территории Соединенных Штатов при предварительном рассмотрении дела и вынесении приговора. Алгоритм основан на ответах респондентов на 137 вопросов, включая темы семейной истории, жилого района, успеваемости в школе и т.д., чтобы предсказать риск совершения преступлений.
Результат алгоритма использовался судьями для определения продолжительности и типа приговора в режиме Черного ящика (Black Box). В то время как некоторые исследования показали, что COMPAS (Профилирование исправительных правонарушителей для альтернативных санкций) не лучше предсказывает риск рецидивизма, чем случайно набранные интернет-незнакомцы, другие исследования были больше сосредоточены на проверке алгоритмов обработки различных значимых социальных групп.
Исследование, проведенное ProPublica (Джефф Ларсон, 2016), показало, что алгоритм в два раза чаще относил чернокожих защитников к группе повышенного риска, которые в конечном итоге не совершали повторных преступлений, по сравнению с белыми защитниками. Об этом свидетельствует показатель "Удержался от рецидива" чернокожих обвиняемых, который составляет 44,85 (то есть 44,85% черных обвиняемых, отнесенных к категории рецидивистов, не совершали повторных преступлений) по сравнению с 23,45 среди белых обвиняемых. Однако Нортпойнт выступил с опровержением: в соответствии с используемыми мерами, у черных и белых защитников была одинаковая степень ошибочной классификации.
Оказывается, обе стороны правы, и это потому, что они используют разные меры справедливости. И не существует алгоритма, который мог бы одинаково хорошо работать со всеми показателями справедливости, если базовые показатели рецидивов различаются для черных и белых. Обе эти меры справедливости представляют собой неизбежные компромиссы. Мы должны быть в состоянии понять компромиссы этих мер справедливости, чтобы принимать обоснованные решения в отношении их дискриминационной способности. Вот почему нам нужна вычислительная перспектива. Итак, давайте сначала разберемся, что такое дискриминация:
"неправомерное навязывание лицам относительно невыгодного положения на основании их принадлежности к какой-либо значимой социальной группе, например, по признаку расы или пола."
Как мы реализуем это в алгоритме? Вышеприведенное выражение содержит несколько нечетких понятий, требующих формализации, «неправомерное навязывание», «значимая социальная группа» и т.д. Если мы сосредоточимся только на компоненте «невыгодного положения», то определим первый тип дискриминации – Несопоставимое обращение.
Кришна использовал вышеупомянутую задачу Двоичной классификации (Binary Classification), чтобы лучше понять типы дискриминации. Проблема состоит в том, чтобы предсказать, будет ли выплачена ссуда, на основе m + 1 характеристик, из которых одна характеристика является чувствительной, например раса клиента.
Несопоставимое обращение. Такой тип относительной дискриминации обнаруживается, если прогнозируемый пользователем результат изменяется при изменении чувствительного признака. В приведенном выше примере это будет означать, что алгоритм предсказывает успешный возврат ссуды для белого человека и неуспешный – для чернокожего человека, даже если все остальные характеристики людей одинаковы. Чтобы предотвратить любую зависимость от расы, нам нужно удалить чувствительные функции из набора данных.
Несопоставимое воздействие – тип относительной дискриминации, который может быть обнаружен, если есть разница в доле положительных (отрицательных) результатов для разных чувствительных групп. В приведенном выше случае это произошло бы, если бы бо́льший процент чернокожих людей был отнесен к категории неплательщиков по сравнению с белыми.
Этот тип измеряет уровень косвенной дискриминации по отношению к группе и часто также проявляется в процессе принятия решений людьми. Даже если мы удалим чувствительный признак, дискриминация все равно может "проскочить" через другие коррелирующие характеристики, такие как почтовый индекс. Такая подчас непростая корректировка гарантирует большую непредвзятость. Многие критики считают, что некоторые наборы невозможно освободить от непредвзятости.
Несоизмеримое жестокое обращение. Этот тип относительной дискриминации обнаруживается, когда мы измеряем разницу в долях точных результатов для разных чувствительных групп. Это тип дискриминации, который был обнаружен Propublica в алгоритме Northpointe, который ошибочно классифицировал невинных чернокожих защитников как повторно совершающих преступления в два раза чаще, чем белых людей. Мы можем исправить это плохое обращение, потребовав одинаковых пропорций точных результатов для всех вовлеченных чувствительных групп.
Механизмы недискриминационного машинного обучения
Прежде чем формализовать механизмы для исправления различения в алгоритмах, мы должны принять во внимание тот факт, что алгоритмы не беспристрастны, как эта статья. Они объективны по сравнению с людьми, но это не делает их справедливыми, просто объективно дискриминационными. Задача алгоритма – оптимизировать функцию затрат, чтобы достичь наилучшего приближения к фактической ситуации. Если лучшая функция классифицирует всех членов неблагополучной группы как повторно совершающих правонарушения или неспособных выплатить ссуду, то алгоритм будет продолжать генерировать подобные решения. Объективные решения могут быть несправедливыми и дискриминационными.
Проще говоря, алгоритм находит наиболее похожую функцию, которая принимает признаки в качестве входных данных. Он определяет наилучшие параметры для этой функции, основываясь на том, какие из них минимизируют разницу между выходными данными функции и фактическими результатами. Это называется проблемой оптимизации (Optimisation Problem). Мы можем добавить дополнительные ограничения к этой задаче, потребовав, чтобы приближенная функция также подчинялась одному или всем сформулированным выше требованиям, чтобы избежать различения.
Однако добавление ограничений приводит к компромиссу в области точности. Кришна применил это ограничение к алгоритму предсказания рецидивов и ценой небольшой точности сумел получить алгоритм, который имеет такой же уровень ошибок для черных и белых обвиняемых. Он использовал ограничения на коэффициент ложноположительных результатов (FPR), который представляет собой вероятность того, что невиновный обвиняемый будет классифицирован как рецидивист, и коэффициент ложноотрицательных результатов (FNR), который представляет собой вероятность того, что в будущем обвиняемый, совершивший повторное преступление, будет классифицирован как не совершающий повторное преступление. Как мы видим на рисунке ниже, разница в FPR и FNR черных и белых обвиняемых приближается к 0, поскольку ограничения ужесточаются с небольшой потерей точности (от ~ 66,7% до ~ 65,8%):
Короче говоря, несмотря на опасения, что алгоритмы будут служить только для дальнейшего закрепления и распространения человеческих предубеждений, сообщество Искусственного интеллекта (AI) прилагает значительные усилия, чтобы избежать и исправить дискриминационные предубеждения в алгоритмах, а также сделать их более прозрачными. Кроме того, появление Общего регламента по защите данных (GDPR) формализует и структурирует эти усилия, чтобы убедиться, что отрасли стимулированы следовать лучшим практикам, когда дело доходит до хранения и обработки огромного количества личных данных граждан, и уделяют приоритетное внимание справедливости за счет некоторой точности. В конечном итоге алгоритмические системы будут отражением общества, которое они пытаются моделировать, и потребуются активные усилия со стороны правительства и частного сектора, чтобы убедиться, что это работает не только для закрепления и дальнейшего усугубления неравенства, присущего нашим структурам, но исправляет их, вводя строгие меры и "штрафующие" ограничения. Это позволяет нам представить себе общество, в котором процесс принятия решений может потенциально избавиться от субъективности человеческих предубеждений, заменив их объективными алгоритмическими решениями, которые осознают свои предубеждения, даже если не полностью свободны от них.
Фото: @alex_marchenko
Автор оригинальной статьи: Jaspreet
Понравилась статья? Поддержите нас, поделившись статьей в социальных сетях и подписавшись на канал. И попробуйте курсы на Udemy.
