На службе в американской полиции, начиная с 1998 года, работал алгоритм Compas, который эффективно анализировал сведения о подсудимых, после чего в результате переработки информации можно было вынести объективное решение относительно целесообразности выпускать нарушителя под залог или же оставлять под стражей. При этом программное обеспечение функционировало с учетом пола, возраста и совершенных ранее преступлений. На протяжении фактически 20 лет работы алгоритм принял участие в судьбе свыше 1 млн подсудимых, однако совсем недавно он был срочно отозван, так как был признан экспертами некомпетентным.
Исследователи из Дартмутского колледжа занялись оценкой системы на предмет достоверности. С этой целью были наняты фрилансеры без юридического образования, которые должны были подготовить заключения после изучения данных о людях. Предварительно были получены сведения о возрасте, поле, прежних фактах нарушения закона и еще некоторые другие.
Точность прогноза в результате со стороны фрилансеров после изучения досье равнялась примерно 70%. Отставание программы от людей составляло 5%, причем анализ она проводила по 137 параметрам из биографии. В заключительной части анализа алгоритма указывалось, что афроамериканцы чаще попадали под подозрение.
Один из инициаторов исследования сказал, что в подобных ситуациях ошибки могут стоить очень дорого, именно поэтому и следовало бы задуматься, а стоит ли пользоваться алгоритмом для вынесения судебных приговоров. После изучения принципа действия ПО ученые сделали вывод, что вероятность повторных преступлений выше у лиц более младшего возраста, которые уже неоднократно арестовывались. Именно это обстоятельство заставило признать алгоритм неблагонадежным.
