Современные системы искусственного интеллекта принимают весомые решения относительно кредитов, медицинских диагнозов, условно-досрочного освобождения и многого другого Они также непрозрачные системы, что делает их восприимчивыми к смещению. В отсутствие прозрачности мы никогда не узнаем, почему программное обеспечение ИИ оценивает 41-летнего белого мужчину и 18-летнюю темнокожую женщину, которые совершают аналогичные преступления, как «низкий риск» по сравнению с «высоким риском».
ПРОВОДНОЕ МНЕНИЕ О Орене Эциони является генеральным директором Института искусственного интеллекта Аллена и профессором Школы информатики Аллена в Вашингтонском университете. Тяньхуэй Майкл Ли (Tianhui Michael Li) является основателем и президентом Pragmatic Data, компании, специализирующейся на данных и ИИ. Ранее он возглавлял науку о монетизации данных в Foursquare и работал в Google, Andreessen Horowitz, J.P. Morgan и D.E. Шоу.
Как по деловым, так и по техническим причинам, автоматически сгенерированные, точные объяснения большинства решений ИИ в настоящее время невозможны. Вот почему мы должны настаивать на внешнем аудите систем ИИ, ответственных за принятие решений с высокими ставками. Автоматизированный аудит в широком масштабе может систематически проверять системы ИИ и выявлять предвзятости или другие нежелательные модели поведения.
Один из самых печально известных примеров предвзятого отношения к искусственному интеллекту - это программное обеспечение, используемое в судебных системах по всей стране, чтобы рекомендовать вынесение приговоров, суммы облигаций и многое другое. Анализ ProPublica одного из наиболее широко используемых алгоритмов рецидивизма для принятия решений об условно-досрочном освобождении выявил потенциально существенную предвзятость и неточность. При запросе дополнительной информации создатель не поделится особенностями своего запатентованного алгоритма. Такая секретность затрудняет ответчикам оспаривать эти решения в суде.
Предвзятость ИИ была отмечена во многих других контекстах, от робота-робота, который говорит азиату «открыть глаза» на паспортных фотографиях до систем распознавания лиц, которые менее точны при идентификации темнокожих и женских лиц, до инструментов вербовки ИИ, которые дискриминируют женщин ,
В ответ регулирующие органы стремились обеспечить прозрачность через так называемый «объяснимый ИИ». Например, в США кредиторы, отклоняющие заявление физического лица на получение кредита, должны предоставить «конкретные причины» для неблагоприятного решения. В Европейском Союзе GDPR предписывает «право на объяснение» для всех автоматизированных решений с высокими ставками.
К сожалению, проблемы объяснимого ИИ огромны. Во-первых, объяснение может раскрыть проприетарные данные и коммерческую тайну. Также чрезвычайно сложно объяснить поведение сложных нелинейных моделей нейронных сетей, обученных на огромных наборах данных. Как мы можем объяснить выводы, сделанные на основе взвешенной нелинейной комбинации тысяч входов, каждый из которых вносит микроскопический процент в общую оценку? В результате мы обычно встречаем компромисс между верностью и точностью в автоматическом объяснении решений ИИ.
Netflix, например, пытается объяснить свой алгоритм рекомендаций, основываясь на одном предыдущем просмотре, который вы смотрели («Потому что вы смотрели странные вещи»). В действительности его рекомендации основаны на многочисленных факторах и сложных алгоритмах. Хотя упрощенные объяснения, лежащие в основе ваших рекомендаций Netflix, являются безобидными, в ситуациях с высокими ставками такое упрощение может быть опасным.
Даже простые прогностические модели могут демонстрировать нелогичное поведение. Модели искусственного интеллекта подвержены распространенному явлению, известному как парадокс Симпсона, в котором поведение управляется лежащей в основе ненаблюдаемой переменной. В одном недавнем случае исследователи обнаружили, что астма в анамнезе снижает риск смерти пациента от пневмонии. Это наивное толкование могло бы ввести в заблуждение практикующих врачей и больных астмой. В действительности, этот результат был объяснен тем фактом, что люди с предшествующей историей астмы чаще получали немедленную помощь.
Это не единичный случай, и такие ошибочные выводы не могут быть легко разрешены с помощью большего количества данных. Несмотря на все наши усилия, объяснения AI могут быть сложными для понимания.
Чтобы добиться большей прозрачности, мы выступаем за ИА, который поддается проверке, система ИИ, которая внешне запрашивается в гипотетических случаях. Эти гипотетические случаи могут быть либо синтетическими, либо реальными, что позволяет автоматически, мгновенно, детализировать опрос модели. Это простой способ мониторинга систем ИИ на наличие признаков предвзятости или хрупкости: что произойдет, если мы изменим пол обвиняемого? Что произойдет, если соискатели займа проживают в исторически меньшинстве?
Auditable AI имеет несколько преимуществ перед объяснимым AI. Независимое стороннее расследование этих вопросов - гораздо лучшая проверка на предвзятость, чем объяснения, контролируемые создателем алгоритма. Во-вторых, это означает, что производители программного обеспечения не обязаны раскрывать коммерческую тайну своих патентованных систем и наборов данных. Таким образом, аудиты ИИ, вероятно, столкнутся с меньшим сопротивлением.
Аудит дополняет объяснения. Фактически, аудит может помочь исследовать и проверять (или аннулировать) объяснения AI. Скажем, Netflix рекомендует Сумеречную Зону, потому что я смотрел «Чужие вещи». Будет ли он также рекомендовать другие шоу ужасов научной фантастики? Рекомендует ли она Сумеречную Зону всем, кто смотрел «Чужие вещи»?
Ранние примеры проверяемого ИИ уже оказывают положительное влияние. ACLU недавно показал, что проверяемые алгоритмы распознавания лиц Amazon почти в два раза чаще ошибочно идентифицируют цветных людей. Появляется все больше свидетельств того, что публичные ревизии могут повысить точность моделей для недопредставленных групп.
В будущем мы можем представить себе надежную экосистему систем аудита, которые обеспечивают понимание ИИ. Мы можем даже представить себе «опекунов ИИ», которые строят внешние модели систем ИИ на основе проверок. Вместо того, чтобы требовать от систем ИИ предоставления объяснений низкой точности, регуляторы могут настаивать на том, чтобы системы ИИ, используемые для принятия решений с высокими ставками, предоставляли интерфейсы аудита.
Auditable AI - не панацея. Если система искусственного интеллекта выполняет диагностику рака, пациент все равно будет нуждаться в точном и понятном объяснении, а не просто в аудите. Такие объяснения являются предметом текущих исследований и, будем надеяться, будут готовы для коммерческого использования в ближайшем будущем. Но в то же время проверяемый ИИ может повысить прозрачность и бороться с предвзятостью.
