Одно из основных опасений по поводу внедрения машинных алгоритмов в жизнь общества это усиление неравенства и создание непрозрачных систем, которые не поддаются контролю.
С одной стороны, алгоритмы, основанные на машинном обучении, которые используются для принятия решений о людях или прогнозирования их будущего поведения, часто позиционируются более справедливыми и объективными. Однако на практике использование машинных алгоритмов при принятии решения не гарантирует ни объективности, ни справедливости, поскольку они могут быть подвержены влиянию эмоций или субъективных убеждений, заложенных в обучающие данные. Если данные необъективны, то созданное на их основе программное обеспечение будет выдавать необъективные результаты.
Электронное правосудие по-американски
Ярким примером необъективности плохо подготовленных алгоритмов является американское программное обеспечение COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), которое используется в судах для оценки вероятности рецидива со стороны подсудимого. Полученная оценка риска используется при принятии решений об освобождении под залог, назначении наказания и условно-досрочном освобождении.
Расследование, проведенное журналистами сайта ProPublica, показало, что COMPAS в два раза чаще давал ложноположительные результаты в отношении чернокожих и в два раза чаще ложноотрицательные результаты в отношении белых, хотя её создатели утверждали, что система не учитывает расу как значимую характеристику. В действительности же система подозрительно часто ошибалась, видя преступников среди чернокожих, и не замечала рецидивистов среди белых.
Исследование 2022 года показало:
Хотя использование оценок риска рекламировалось как реформа, направленная на защиту общественной безопасности и снижение предвзятости в отношении обвиняемых, непрозрачность алгоритмических оценок риска и расистские рекомендации вызывают серьёзные опасения. ... [Проанализированные с точки зрения прав на равную защиту] досудебные алгоритмические оценки риска явно дискриминируют по признаку расы.
Вывод
✍️ Практика показывает, что использование ИИ-систем и программного обеспечения, созданного на основе алгоритмов машинного обучения, действительно может привести к несправедливой дискриминации и усугублению неравенства в обществе. Чтобы такого не происходило, требуется высокий уровень контроля за репрезентативностью данных, используемых для обучения моделей ИИ. В противном случае существующие социальные предубеждения будут увековечены в применяемых алгоритмах.