Найти тему
Город будущего

Как алгоритмы учатся у людей плохому и почему они могут принести больше вреда, чем пользы

У людей вызывает тревогу появление гипотетического сильного ИИ, от которого неизвестно что ждать. Но мало кто задумывается, что алгоритмы, с которыми мы сталкиваемся практически каждый день, могут представлять куда большую угрозу.

Неспроста все больше экспертов считают, что нужно лучше регулировать ML и AI, чтобы они не причиняли вреда пользователям. Тем не менее, рыночная капитализация этого сегмента рынка составляет уже 93,5 млрд долларов (данным Grand View Research).

Алгоритмы ML/AI воссоздают и транслируют различные предубеждения — например, расистские и сексистские стереотипы. Так происходит потому, что модели ИИ обучаются на неидеальных датасетах, перенимая их особенности — они впитывают токсичный язык, буквально учась у людей плохому. И если машина учится на текстах, полных ксенофобии, она будет генерировать ксенофобские тексты. Этим уже успело отличиться, например, приложение Philosopher AI на базе GPT-3, обладающее потрясающей способностью генерировать связные и весьма похожие на естественные тексты.

Предсказательные алгоритмы, которые используют полиция и суды — еще один популярный сюжет про конфликт технологий и прав человека. В Лос-Анджелесе и Филадельфии алгоритмы анализируют данные о произошедших преступлениях, чтобы сообщить, где может произойти преступление в будущем. Одна из популярных программ — PredPol. Эта программа собирает данные о том, где и когда совершались преступления, а затем составляет карту горячих точек — мест, где преступление, вероятно, произойдет в будущем. Исследователи из Human Rights Watch проанализировали работу PredPol и выяснили, что алгоритм часто рекомендовал полиции направлять патрули в районы, где живут преимущественно чернокожие. При этом те районы, где больше белых и где, в частности, преступления, связанные с незаконным оборотом наркотиков, совершались чаще, оставались без внимания патрулей.

Еще один пример использования алгоритмов в системе наказаний — COMPAS, его применяют судьи в штате Висконсин. Этот алгоритм прогнозирует риск рецидива преступления. Его производитель отказывается раскрывать подробности запатентованной разработки, известна только окончательная оценка риска. Так вот, и этот алгоритм дискриминирует людей с черным цветом кожи.