От предсказания того, кто будет рецидивистом, до того, кто будет лучшим кандидатом на работу, компьютерные алгоритмы теперь принимают сложные решения вместо человека.
Однако все чаще обнаруживается, что многие из этих алгоритмов воспроизводят те же расовые, социально-экономические или гендерные предубеждения, для преодоления которых они были созданы.
Согласно новому исследованию исследователей из Калифорнийского университета, подобная расовая предвзятость распространяется на программное обеспечение, широко используемое в индустрии здравоохранения, потенциально затрагивая доступ к медицинской помощи для миллионов американцев.
Новое исследование, опубликованное 25 октября в журнале Science, показало, что тип программного обеспечения, которое определяет, кто получает доступ к программам управления здравоохранением высокого риска, обычно позволяет более здоровым белым попасть в программы раньше темнокожих, которые менее здоровы.
Как показало исследование, исправление этой погрешности в алгоритме позволило бы более чем в два раза увеличить число чернокожих пациентов, автоматически поступающих в эти программы.
Почему так происходит?
Категория алгоритмов, влияющих на решения в области здравоохранения для более чем ста миллионов американцев, показывает значительную расовую предвзятость.
Алгоритмы кодируют расовые предубеждения, используя затраты на здравоохранение для определения "риска" для пациентов или тех, кто, скорее всего, выиграет от программ управления медицинским обслуживанием.
Из-за структурного неравенства в американской системе здравоохранения чернокожие на данном уровне здоровья в конечном итоге обходятся дороже белых.
В результате чернокожие пациенты были намного больнее при заданном уровне прогнозируемого риска алгоритма.
Уточнение алгоритма для использования других переменных для прогнозирования риска для пациента, таких как затраты, которых можно было бы избежать с помощью профилактической помощи, позволило исследователям устранить значительную часть погрешности, которая была изначально заложена в алгоритм.
Дело не в алгоритме
По словами некоторых ученыз, алгоритмы сами по себе не бывают ни хорошими, ни плохими.
Это просто вопрос заботы о том, как они строятся. В этом случае проблема в высшей степени устранима, и по крайней мере один производитель работает над ее устранением.
Корень алгоритмической погрешности
Выявлению алгоритмической предвзятости - будь то в системе уголовного правосудия, при принятии решений о найме на работу или в здравоохранении - часто препятствует тот факт, что многие из используемых сегодня алгоритмов прогнозирования разработаны частными компаниями и запатентованными, что затрудняет их анализ для ученых и исследователей данных.
Для решения этой проблемы исследования происходили в одной из академических больниц, которая использовала алгоритм, основанный на оценке риска, для определения того, какие пациенты получают доступ к программе управления высокорискованной медицинской помощью.
Подобные программы направлены на улучшение ухода за пациентами со сложными медицинскими потребностями путем предоставления им дополнительного внимания и ресурсов.
Для 43 539 белых и 6 079 чернокожих пациентов, поступивших в больницу, исследователи получили алгоритм-прогнозируемую оценку риска и сравнили ее с более прямыми показателями здоровья пациента, включая количество хронических заболеваний и других биомаркеров.
Они обнаружили, что определенный показатель риска здоровье чернокожих был значительно хуже, чем у белых.
Вместо того, чтобы учиться находить самых больных в физиологическом смысле слова, эти алгоритмы в конечном итоге были обучены находить самых больных в смысле тех, на кого система тратит больше всего денег.
Пациенты, чьи показатели риска вошли в число 97% лучших, автоматически определялись для включения в программу управления уходом.
Скорректировав различия в состоянии здоровья между чернокожими и белыми, исследователи обнаружили, что доля чернокожих в автоматической группе увеличилась с 18% до 47%.
Но обучение алгоритму определения риска на основе других измеримых переменных, таких как предотвратимые затраты или количество хронических заболеваний, требующих лечения в течение года, значительно снизило расовые предубеждения.
Алгоритмы могут совершать ужасные поступки, или алгоритмы могут совершать чудеса.
Что из того, что они делают, в основном зависит от людей самих. Эксперты делают так много выбора, когда тренируют алгоритм, который кажется техническим и маленьким. Но эти решения определяют разницу между хорошим и плохим, предвзятым или непредвзятым алгоритмом.
Так что зачастую это очень понятно, когда мы получаем алгоритмы, которые не делают того, что мы от них хотим, потому что такой выбор является трудным.
