Короткий ответ: почти одинаково.
В Америке компьютеры уже долгие годы помогают принимать решения об освобождении по залог и вынесении приговора. Их сторонники утверждают, что строгая логика алгоритмов, натренированная при помощи огромного количества данных, может без человеческой предвзятости судить, будет ли осужденный повторно совершать правонарушение. Сейчас два исследователя поставили одну такую программу, COMPAS, на тест. В соответствии с их исследованиями, опубликованными в Science Advances, COMPAS оказался ни чем не лучше и не хуже людей без специальной квалификации.
Юлия Дрессел и Хани Фарид из Дартмутского колледжа в Нью-Гэмпшир выбрали 1,000 случайных подсудимых из базы данных, в которой находится 7,214 человек, арестованных в Округе Бовард, штате Флорида между 2013 и 2014 годам, ставшими предметом анализа программы COMPAS. Они поделили их на 20 групп по 50 человек. Для каждого подсудимого они создали короткое описание, включающее пол, возраст и предыдущие приговоры, а также уголовные обвинения.
Затем они обратились к Amazon Mechanical Turk, сайту, который набирает добровольцев для выполнения небольших заданий за денежную плату. Они попросили 400 таких добровольцев предсказать, будет ли конкретный подсудимый арестован еще за какое-либо правонарушение через 2 года после предъявления обвинения (за исключением времени, проведенного в тюрьме) – факт, который известен по прошествии времени. Каждый доброволец видел одну группу из 50 человек, и каждую группу видели 20 добровольцев. Когда Дрессел и Фарид подсчитали результаты, они обнаружили, что добровольцы правильно угадали, будет ли каждый подсудимый повторно арестован, в 62,1% случаев. Когда мнения всех 20 человек по каждому подсудимому объединяли, результат возростал до 67%. COMPAS показал результат в 65,2%, что по суть равнозначно результату добровольцев.
Чтобы увидеть, повлияет ли упоминание о расе человека (тернистый вопрос в американской криминально-судебной системе) на результат, Дрессел и Фарид снова набрали 400 добровольцев и повторили свой эксперимент, на этот раз добавив в описание расу подсудимого. Оказалось, что разницы нет. Участники определили тех, кто оказался повторно арестован, с точностью 66,5%.
Все это указывает на то, что, хотя COMPAS и не идеален, он способен анализировать факты, для предсказания, кто будет снова привлекать внимание закона, а кто нет, также хорошо, как и человек. Это обнадеживает. Является ли это полезным, другой вопрос, а Дрессел и Фарид разработали собственный алгоритм, который имеет такую же точность предсказания повторных арестов, как и COMPAS, основываясь на данных Округа Бовард, но имеющий только две вводные: возраст подсудимого и количество приговоров.
Тим Бреннан, руководитель исследовательских работ Equivant, фирмы, которая сделала COMPAS, указывает на то, что алгоритм исследователей, прошедший обучение и тестирование с одними и теми же данными, может оказаться менее точным при столкновении с данными из другого места. Но пока алгоритм работы COMPAS является закрытым, детальное сравнение достоинств этих алгоритмов остается невозможным.
Перевел статью: Смирнов Егор.