Будет ли алгоритм принимать справедливое решение в будущем зависит от того, как компании или люди определяют или воспринимают справедливость в целом.
"Конечно, самое главное, чтобы алгоритм всегда принимал правильные решения", - говорит Ники Килбертус, исследователь из Института интеллектуальных систем имени Макса Планка в Тюбингене
"Но то, что правильно, сначала должно быть прояснено."
Даже люди не всегда ведут себя честно.
"Люди каждый день принимают решения о других людях. Почему человек так или иначе решает, часто совершенно непрозрачно.
Но мы требуем от алгоритма, чтобы он всегда принимал решение на сто процентов правильно и справедливо."
В конечном счете, изучение справедливости в машинах также приводит к пониманию того, что люди также не всегда действуют справедливо.
Просто потому, что они совершают ошибки, например, из-за недостатка информации или опыта. Прямо как машины.
Например, дерматолог, который осматривал светлокожих людей только на предмет рака кожи в течение своей карьеры, мог бы неверно диагностировать темнокожих людей и, возможно, не заметить опухоль. Поэтому он не стал бы обращаться с темнокожими людьми так же хорошо, как со светлокожими людьми.
Однако предполагаемая несправедливость может быть объяснена тем, что врачу не хватает опыта работы с определенными группами пациентов.
Влияние алгоритма на реальную жизнь.
Следует помнить еще об одной вещи: компьютерные решения могут оказывать активное влияние на мир.
Одним из примеров являются современные программы, использующие кражи со взломом и грабежи в городе для определения того, в каких районах чаще всего произойдут новые преступления.
Изложение алгоритма приведет к тому, что там будет больше полиции, и, возможно, там будет обнаружено больше преступлений.
Однако можно предположить, что там не будет совершено больше преступлений. Но раскрыто будет больше, поскольку полиция там патрулировала особенно часто.
"Поэтому результаты работы алгоритма могут привести к неверным выводам - речь идет о цикле обратной связи, в котором алгоритм влияет на реальную жизнь".
Аналогичным примером является предупреждение о перегруженности навигационных служб. Если дорога заполнена, служба рекомендует переключиться на другие маршруты, где пробок пока нет и могут возникнуть позже.
По этой причине Ники Килбертус предупреждает не только о справедливости, но и об обратной связи.
В своей докторской диссертации он уже проанализировал несколько случаев дискриминации и предпринял первые попытки математически описать эту проблему.
"Работа по программированию занимает как минимум столько же времени, сколько и анализ каждого случая."
Но для него и его коллег анализ по-прежнему является основной работой.
"Каждый алгоритм работает с определенными критериями, на основе которых производится оператор. Сейчас мы пытаемся выяснить, где критерии ломаются, где слабые места."
Алгоритм дискриминации.
В прошлом году интернет-трейдер выдвинул предложение установить программу, который будет отбирать заявки мужчин больше, чем женщин.
И в связи с этим был вопрос, почему этот алгоритм ставит в невыгодное положение женщин-заявителей?
Хотя подробности работы алгоритма неизвестны, у Килбертуса есть догадка.
"Можно предположить, что была предпринята попытка анонимного анализа заявлений."
Таким образом, ни пол, ни имя не были известны системе. Тем не менее, это не сработало.
"Другие исследования показывают, что женщины в своих заявлениях часто указывают на социальную или соответствующую деятельность. В то время как мужчины, как правило, сигнализируют о доминирующем положении и выглядят более конкурентоспособными",
- объясняет Килбертус. "Тогда это могут быть именно те навыки, которые нужны компании."
Бернхард Шёлькопф добавляет:
"Неправильно полагать, что мы достигаем справедливости, скрывая от алгоритма определенную информацию, такую как пол".
Эта справедливость в силу незнания или невежества не всегда срабатывает.
Задача не только математическая.
Какие бы алгоритмы ни учили быть справедливыми, по сравнению с чисто математическими формальностями, с которыми Ники Килбертус имел дело, это довольно мягкий критерий.
Несмотря на то, что он ценил возможность четко доказывать или фальсифицировать заявления, он считает, что этот новый аспект обогащает его.
"Очень интересно работать над такой социально значимой темой", - говорит он.
Вскоре ему стало ясно, что математических и информационных знаний недостаточно для его научной работы.
Поэтому он продолжил свое образование в области социальных наук и права. Надеется, этого будет достаточно, чтобы найти действительно справедливые алгоритмы.