С момента изобретения технологий искусственного интеллекта они преподносились как универсальное средство для решения множества проблем. Применительно к рынку страхования – для более точной оценки потенциальных рисков как клиента, так и страховщика. Но в последнее время мы всё чаще слышим о том, что ИИ начинает дискриминировать людей, основываясь на собственных алгоритмах и анализе больших данных.
Польза от изобретения и внедрения технологий машинного обучения, анализа больших данных – всё, что сейчас принято называть технологиями-ИИ – для человечества безусловна. Например, в американской базе медицинских данных на сегодня находится более 2 млрд файлов. Это позволяет врачам с самой высокой точностью ставить диагнозы и подбирать медикаменты, которые с наибольшей вероятностью вылечат болезнь. Есть очевидные успехи в сельском хозяйстве: с помощью анализа огромного количество данных машины научились помогать фермерам собирать больший урожай и сокращать расходы. Неоценимую пользу машинное обучение приносит в тяжёлой промышленности, в станкостроении. Можно долго перечислять эти отрасли, но вот любопытно: все они, так или иначе, относятся к точным наукам. Когда же речь заходит о науках гуманитарных, машины всё чаще начинают давать сбои.
Беда в том, что эти сбои специалисты обнаруживают далеко не сразу. В 2018 году случился громкий скандал с корпорацией Amazon и её программой по поиску кадров. Оказалось, что ещё в 2014 году разработчики начали создавать инструмент, который будет искать наилучшие резюме на основе 50 тысяч различных параметров. Через несколько лет выяснилось, что программа дискриминирует женщин потому, что в изначальной выборке просто оказалось больше мужчин. В 2016 году эксперты ProPublica доказали, что изобретённый в США ещё в 2014 году алгоритм, предсказывающий рецидивы в нарушении закона, дискриминирует афроамериканцев. По той же самой причине – по качеству изначальной предоставленной для машинного обучения выборке.
Однако проблема не только в изначальной выборке: всё чаще обнаруживается, что ИИ продуцирует искажения, которые в нём явно заложены не были. В сфере страхования эта проблема получила название «дискриминация по доверенности» (proxy discrimination). В частности, приводится такой пример: присоединение к группе в Facebook, посвящённой теме мутации генов BRCA1, сулит присвоение человеку повышенного риска компаниями по медицинскому страхованию. Даже при том, что фактические данные об этой генной мутации – использование которых незаконно – никогда не вводятся в систему, алгоритмический «чёрный ящик», в итоге, выдаёт заключение, являющееся по сути генетической дискриминацией. Или, например, машина довольно быстро может определить является ли женщина беременной, просто анализируя данные о транзакциях по её банковской карте.
Не так давно специалисты ProPublica выяснили, что жители районов проживания национальных меньшинств платили более высокие страховые взносы на автомобиль, чем жители большинства «белых» районов с аналогичными страховыми рисками. Эта история стала резонансной в том числе и потому, что тогда страховые компании отказались раскрыть свои алгоритмы.
Есть и судебные прецеденты. Американский союз гражданских свобод подал в суд в штате Айдахо, требуя от властей предоставить доступ к коду программы Medicaid. Эту программу власти стали использовать для расчёта пособий, но вдруг выяснилось, что часть получателей обнаружило, что их пособия сократились в иных случаях на целых 30%. Нередки случаи, когда создатели систем скоринга для российских финансовых компаний сами признаются, что не могут понять, почему машина приняла то или иное решение. И это объяснимо – так как такие системы довольно быстро превращаются в «чёрные ящики» - даже человеку, далёкому от математики это ясно. Но трудно оправдать банковскую программу, которая отказала клиенту в кредите на том основании, что у него две или три работы, но одобрила работающему на одной работе. Да, конечно, истинные причины решения машины могут основываться на совершенно других основаниях. И наверняка это так и есть. Только вот легче ли этого человеку, который нужные ему деньги не получил? Все помнят так же, что недавно Герман Греф, глава Сбербанка, заявил, что «одна маленькая ошибка» в программе стоила банку миллиардов долларов убытка (точнее – недополученных доходов).
Математики, которые пришли в финансовые компании создавать скоринговые программы столкнулись с одной трудно разрешимой проблемой: дважды два в экономике далеко не всегда четыре. Кроме того, как мы все прекрасно знаем, экономическая наука изобилует не только законами и закономерностями, но и оценочными суждениями, которые по ошибке принимаются за первые. Учёные объясняют, что это из-за то, что наши представления о поведении человека основаны на когнитивных искажениях. Количество таких когнитивных искажений насчитывается уже свыше 150 и постоянно растёт. И проблема тут представляется не в их сложных связях, которые по зубам современным вычислительным устройствам, но в самих следствиях и причин тех или иных когнитивных искажений.
Кажется, что с ИИ человечество зашло в тупик? Да, определённый кризис налицо и скандалов, связанных с «дискриминации по доверенности», будет становится всё больше. Просто потому, что поиск ошибок в программах занимает массу времени и обходится корпорациям достаточно дорого. Но делать это всё равно придётся. В противном случае мы получим самый современный и, что самое печальное, плохо управляемый аппарат для дискриминации. Понятно, что любой, не только финансовой, компании всегда проще работать только с самыми лучшими клиентами – повысив тем самым доходность и снизив риски. Но разрабатывали-то ИИ как раз для снижения рисков в более сложных сегментах рынка.
Отметим, что периодически могут возникать ситуации, когда, на первый взгляд, решение ИИ кажется дискриминационным, однако статистика, на которой оно основано – упрямая вещь. Например, тот факт, что машины красного цвета попадают в ДТП чаще – объективная реальность. Означает ли это, что страховые компании дискриминируют владельцев таких машин? Разумеется, нет. Поэтому правда, как обычно, находится посередине – между реальными ошибками ИИ и накопленной статистикой страховых случаев, которые могут восприниматься в качестве таковых.