Цифровая эпоха наделила алгоритмы невиданной властью. Сегодня они не просто предлагают фильмы или товары, они всё чаще выступают в роли судей, кредитных инспекторов и кадровиков. Их решения напрямую влияют на то, получит ли человек кредит, работал ли он дальше и даже как долго проживет.
В банковской сфере алгоритмы давно стали главными лицами, принимающими решения. Скоринговые системы оценивают платежеспособность заемщика за секунды, анализируя финансовую историю, поведенческие характеристики и демографические данные. Формально это делает процесс объективнее, исключая человеческий фактор . Но проблема в том, что алгоритм может отказать в кредите, а объяснить причину отказа часто не может никто. Человек остается один на один с бездушной математической моделью.
Еще тревожнее ситуация в сфере правосудия. Уже существуют системы, прогнозирующие судебные решения на основе анализа предыдущих актов. Некоторые модели, подобные печально известной COMPAS, оценивают риск рецидива у преступников.