Про тех, кто не сомневается в советах ИИ

Про тех, кто не сомневается в советах ИИ

Июнь пролетел с бешеной скоростью, погода продолжает радовать нас теплом, самое время для прогулок по паркам и выездов за город, ну а мы в субботней рубрике #сережазаваспочитал изучаем результаты любопытного исследования про наш горячолюбимый ИИ.

Многие считают, что прозрачность ИИ поможет пользователям замечать возможную предвзятость алгоритмов. Однако исследование доцента Гарвардской школы бизнеса Алекса Чана показывает: люди нередко предпочитают не узнавать, почему ИИ принял то или иное решение, если объяснение может усложнить выбор или вызвать моральный дискомфорт.

В эксперименте 2512 участников выступали в роли кредитных специалистов и рассматривали реальные заявки безработных людей на займы по 10 000 долларов. Они видели демографические данные заёмщиков, включая доход, расу, пол и размер семьи, а также прогноз ИИ по риску дефолта. В каждой паре один заёмщик оценивался как низкорисковый, с вероятностью дефолта менее 10%, другой - как высокорисковый, с вероятностью выше 90%. Участники могли одобрить оба кредита, последовать рекомендации алгоритма или сначала посмотреть объяснение факторов, на которых основывался прогноз.

Около 80% участников хотели видеть оценки риска, но лишь 46% захотели узнать, на чём они основаны. Когда бонус зависел от возврата кредита, участники почти на 20% чаще отказывались от объяснений, чем те, кто получал фиксированную оплату. Если им сообщали, что решение ИИ могло зависеть от расы или пола, доля отказавшихся от объяснений выросла более чем на 10 процентных пунктов, до 23%.Те, кто всё же смотрел объяснения, примерно на шесть процентных пунктов чаще спорили с алгоритмом и одобряли оба кредита. По словам Чана, люди одновременно ищут информацию и избегают её: совет им нужен, но подробности могут поставить их перед моральной дилеммой и заставить пересмотреть удобное решение. Иными словами, человек может хотеть знать, какой вариант рекомендует система, но не хотеть понимать, почему именно она пришла к такому выводу.

Исследование ставит под сомнение распространённое предположение, что пользователи естественным образом хотят большей прозрачности. Люди, взаимодействующие с ИИ, не являются идеально рациональными: они действуют стратегически, руководствуются личными стимулами и иногда сознательно предпочитают не знать. Поэтому наличие объяснения ещё не означает, что пользователь захочет его открыть и тем более учтёт при выборе.

Это особенно важно, поскольку компании всё активнее используют ИИ в найме, кредитовании, медицине и судебных процессах. Интерес к объяснимому ИИ растёт, но одной возможности увидеть логику алгоритма недостаточно. Стимулы и устройство организации определяют, будут ли сотрудники действительно разбираться в объяснениях или просто проигнорируют их.

Чан рекомендует встроить контроль в процессы принятия решений с помощью ИИ. Европейские нормы и требования американских регуляторов уже обязывают раскрывать причины значимых алгоритмических решений, например отказов в кредите. Но цель должна заключаться не только в формальном предоставлении объяснений, а в том, чтобы компании реально использовали их при принятии решений и могли показать, как эти объяснения повлияли на итоговый выбор.

Организациям также нужно создавать стимулы для критической работы с ИИ. Простого доступа к объяснениям мало: сотрудников следует обучать анализировать, документировать и осмыслять их. Объяснимость нельзя полностью оставлять на усмотрение человека, если его личные интересы подталкивают к сознательной слепоте. Требования к прозрачности не должны превращаться в формальность, когда объяснение существует, но никто не обязан его читать.

Наконец, руководителям важно не обесценивать человеческое суждение и поощрять сотрудников спорить с рекомендациями ИИ. Главный риск технологии заключается не только в плохих ответах или слабом внедрении, а в том, что люди постепенно перестанут спрашивать: «Почему?»

Всем хороших выходных 🤗