Люди подвержены ошибкам и предвзятости, но это не значит, что алгоритмы обязательно лучше. Тем не менее, технология уже принимает важные решения о вашей жизни и потенциально управляет тем, какую политическую рекламу вы видите, как ваше заявление на работу вашей мечты проверяется, как сотрудники полиции развертываются в вашем районе и даже предсказывают риск пожара в вашем доме.
Но эти системы могут быть предвзятыми в зависимости от того, кто их создает, как они разрабатываются и как в конечном итоге используются. Это обычно называют алгоритмическим смещением. Трудно точно определить, как системы могут быть восприимчивы к алгоритмическому смещению, тем более что эта технология часто работает в корпоративном черном ящике. Мы часто не знаем, как был разработан тот или иной искусственный интеллект или алгоритм, какие данные помогли его построить или как он работает.
Как правило, вы знаете только конечный результат: как он повлиял на вас, если вы даже знаете, что ИИ или алгоритм были использованы в первую очередь. Вы получили эту работу? Вы видели объявление Дональда Трампа на своей странице в Facebook? Вас опознала система распознавания лиц? Это делает обращение к предубеждениям искусственного интеллекта сложным, но еще более важным для понимания.
Системы, основанные на машинном обучении, обучаются на большом количестве данных. Очень большом количестве данных.
Когда вы думаете об инструментах "машинного обучения “(машинное обучение-это разновидность искусственного интеллекта), лучше думать об идее "обучения". Это включает в себя предоставление компьютеру набора данных (любого вида данных) и затем этот компьютер учится делать суждения или прогнозы относительно информации, которую он обрабатывает, основываясь на паттернах, которые он замечает.
Например, в очень упрощенном примере. Предположим, вы хотите обучить вашу компьютерную систему распознавать, является ли объект книгой, основываясь на нескольких факторах, таких как его текстура, вес и размеры. Человек мог бы сделать это, но компьютер мог бы сделать это быстрее.
Чтобы обучить систему, вы показываете компьютерные метрики, приписываемые множеству различных объектов. Вы даете компьютерной системе метрики для каждого объекта и сообщаете компьютеру, когда объекты являются книгами, а когда нет. После непрерывного тестирования и уточнения система должна узнать, что указывает на книгу, и, надеюсь, сможет предсказать в будущем, является ли объект книгой, в зависимости от этих показателей, без помощи человека.
Это звучит относительно просто. И это может быть так, если ваша первая партия данных была классифицирована правильно и включала хороший диапазон показателей, характеризующих множество различных типов книг. Однако эти системы часто применяются к ситуациям, которые имеют гораздо более серьезные последствия, чем эта задача, и в сценариях, где нет обязательно “объективного” ответа. Часто данные, на основе которых обучаются или проверяются многие из этих систем принятия решений, часто не являются полными, сбалансированными или подобранными надлежащим образом, и это может быть главным источником (хотя, конечно, не единственным источником) — алгоритмической погрешности.
Николь Тернер-Ли, сотрудник Центра Технологических Инноваций Института Брукингса, объясняет, что мы можем думать об алгоритмическом смещении двумя основными способами: точность и воздействие. ИИ может иметь разные показатели точности для разных демографических групп. Аналогично, алгоритм может принимать совершенно разные решения, когда применяется к разным популяциям.
Важно отметить, что когда вы думаете о данных, вы можете подумать о формальных исследованиях, в которых демография и репрезентация тщательно рассматриваются, ограничения взвешиваются, а затем результаты рецензируются. Это не обязательно относится к системам, основанным на ИИ, которые могут быть использованы для принятия решения о вас. Давайте возьмем один источник данных, к которому каждый имеет доступ - интернет. Одно исследование показало, что, обучая искусственный интеллект ползать по интернету и просто читать то, что люди уже написали - система будет порождать предубеждения против черных людей и женщин.
Еще один пример того, как обучающие данные могут вызвать сексизм в алгоритме, произошел несколько лет назад, когда Amazon попытался использовать ИИ для создания инструмента проверки резюме. По данным Reuters, компания надеялась, что технология может сделать процесс сортировки заявок на вакансии более эффективным. Они построили алгоритм отбора, используя резюме, которые компания собирала в течение десятилетия, но эти резюме, как правило, исходили от мужчин. Это означало, что система, в конце концов, научилась дискриминировать женщин. Это также привело к фактору в доверенных лицах для пола, например, пошел ли заявитель в женский колледж. (Amazon говорит, что инструмент никогда не использовался и что он был нефункциональным по нескольким причинам.)
На фоне обсуждения алгоритмических искажений компании, использующие ИИ, могут сказать, что они принимают меры предосторожности, предпринимают шаги по использованию более репрезентативных данных обучения и регулярно проводят аудит своих систем на предмет непреднамеренных искажений и несопоставимого воздействия на определенные группы. Но Лили Ху, докторант в Гарварде по прикладной математике и философии, изучающая справедливость ИИ, говорит, что это не гарантия того, что ваша система будет работать справедливо в будущем.
“У вас нет никаких гарантий, потому что ваш алгоритм работает “честно” на вашем старом наборе данных", - сказала Ху Recode. “Это просто фундаментальная проблема машинного обучения. Машинное обучение работает на старых данных [и] на обучающих данных. И это не работает на новых данных, потому что мы еще не собрали эти данные.”
И все же, не следует ли нам просто сделать более репрезентативные наборы данных? Это может быть частью решения, хотя стоит отметить, что не все усилия, направленные на создание лучших наборов данных, являются этичными. И дело не только в данных. Как объясняет Карен Хао из MIT Tech Review, ИИ также может быть разработан, чтобы сформулировать проблему фундаментально проблематичным образом. Например, алгоритм, предназначенный для определения "кредитоспособности", запрограммированный на максимизацию прибыли, может в конечном счете решить выдавать низкокачественные кредиты.
Вот еще одна вещь, которую следует иметь в виду: просто потому, что инструмент тестируется на предвзятость - что предполагает, что инженеры, которые проверяют на предвзятость, на самом деле понимают, как проявляется и действует предвзятость, - против одной группы не означает, что он тестируется на предвзятость против другого типа группы. Это также верно, когда алгоритм рассматривает несколько типов факторов идентичности одновременно: инструмент может считаться довольно точным на белых женщинах, например, но это не обязательно означает, что он работает с черными женщинами.
В некоторых случаях может оказаться невозможным найти обучающие данные, свободные от предвзятости. Возьмем исторические данные, полученные системой уголовного правосудия Соединенных Штатов. Трудно представить, что данные, полученные институтом, изобилующим системным расизмом, могут быть использованы для создания эффективного и справедливого инструмента. Как отмечают исследователи из Нью-Йоркского университета и Института AI Now, инструменты прогнозирования полицейской деятельности могут быть скормлены “грязным данным”, включая модели полицейской деятельности, отражающие сознательные и неявные предубеждения полицейских департаментов, а также коррупцию в полиции.
Основополагающие предположения инженеров также могут быть предвзятыми
Таким образом, у вас могут быть данные для построения алгоритма. Но кто его проектирует, и кто решает, как его развернуть? Кто будет решать, какой уровень точности и неточности для различных групп является приемлемым? Кто будет решать, какие приложения ИИ этичны, а какие нет?
Хотя существует не так много исследований в области демографии искусственного интеллекта, мы знаем, что ИИ, как правило, доминируется мужчинами. А сектор "высоких технологий", в более широком смысле, имеет тенденцию к чрезмерной представленности белых людей и недопредставленности черных и латиноамериканцев, согласно Комиссии по равным возможностям занятости.
Тернер-Ли подчеркивает, что мы должны думать о том, кто получает место за столом, когда эти системы предлагаются, поскольку эти люди в конечном счете формируют дискуссию об этическом развертывании своей технологии.
Но есть и более широкий вопрос о том, на какие вопросы искусственный интеллект может помочь нам ответить. Ху, гарвардский исследователь, утверждает, что для многих систем вопрос о построении “справедливой” системы по существу бессмыслен, потому что эти системы пытаются ответить на социальные вопросы, которые не обязательно имеют объективный ответ. Например, Ху говорит, что алгоритмы, которые утверждают, что предсказывают рецидив человека, в конечном счете не решают этический вопрос о том, заслуживает ли кто-то условно-досрочного освобождения.
"Нет объективного способа ответить на этот вопрос”, - говорит Ху. "Когда вы затем вставляете систему искусственного интеллекта, алгоритмическую систему, [или] компьютер, это не меняет фундаментального контекста проблемы, который заключается в том, что проблема не имеет объективного ответа. По сути, это вопрос о том, каковы наши ценности и какова цель системы уголовного правосудия.”
Это означает, что некоторые алгоритмы, вероятно, не должны существовать, или, по крайней мере, они не должны идти с таким высоким риском злоупотребления. То, что технология точна, не делает ее справедливой или этичной. Например, китайское правительство использовало искусственный интеллект для отслеживания и расового профилирования своего преимущественно мусульманского уйгурского меньшинства, около 1 миллиона из которых, как полагают, живут в лагерях для интернированных.
Прозрачность-это первый шаг к подотчетности
Одна из причин, по которой алгоритмическая предвзятость может казаться такой непрозрачной, заключается в том, что мы сами обычно не можем сказать, когда это происходит. Это была одна из причин, по которой споры вокруг мужа и жены, которые оба подали заявку на карту Apple и получили совершенно разные кредитные лимиты, привлекли так много внимания, говорит Тернер-Ли. Это был редкий случай, когда два человека, по крайней мере, казалось, подвергались воздействию одного и того же алгоритма и могли легко сравнивать заметки. Детали этого дела до сих пор не ясны, хотя кредитная карта компании в настоящее время исследуется регуляторами.
Но потребители редко имеют возможность сравнивать результаты алгоритмического анализа "яблоко к Яблоку", и это одна из причин, по которой сторонники требуют большей прозрачности работы систем и их точности. В конечном счете, это, вероятно, не та проблема, которую мы можем решить на индивидуальном уровне. Даже если мы понимаем, что алгоритмы могут быть предвзятыми, это не означает, что компании будут откровенны, позволяя посторонним изучать их искусственный интеллект. Это создало проблему для тех, кто настаивает на более справедливых, технологических системах. Как вы можете критиковать алгоритм - своего рода черный ящик, - если у вас нет истинного доступа к его внутренней работе или способности проверить большое количество его решений?
Компании будут претендовать на точность в целом, но не всегда будут раскрывать свои учебные данные (помните, что это данные, которые искусственный интеллект тренирует перед оценкой новых данных, таких как, скажем, ваше заявление о приеме на работу). Многие из них, по-видимому, не подвергают себя аудиту со стороны стороннего оценщика или публично не делятся тем, как их системы работают применительно к различным демографическим группам. Некоторые исследователи, такие как Джой Буоламвини и Тимнит Гебру, говорят, что обмен этой демографической информацией о данных, используемых для обучения, и данных, используемых для проверки искусственного интеллекта, должен быть базовым определением прозрачности.
Искусственный интеллект является новым, но это не означает, что существующие законы не применяются
Нам, скорее всего, понадобятся новые законы, регулирующие искусственный интеллект, и некоторые законодатели поднимают этот вопрос. Есть законопроект, который заставит компании проверять свои системы искусственного интеллекта на предмет предвзятости через Федеральную торговую комиссию (FTC). Кроме того, было предложено законодательно регулировать распознавание лиц и даже запретить использование этой технологии в государственном жилищном фонде, финансируемом из федерального бюджета.
Но Тернер-Ли подчеркивает, что новое законодательство не означает, что существующие законы или учреждения не имеют права просматривать эти инструменты, даже если есть некоторая неопределенность. Например, FTC контролирует обманные действия и практику, которые могут дать агентству полномочия в отношении некоторых инструментов, основанных на ИИ.
Комиссия по равным возможностям в области занятости, которая расследует дискриминацию в сфере занятости, как сообщается, рассматривает по меньшей мере два случая, связанных с алгоритмической дискриминацией. В то же время Белый дом поощряет федеральные агентства, которые выясняют, как регулировать искусственный интеллект, чтобы иметь в виду технологические инновации. В связи с этим возникает вопрос о том, готово ли правительство изучать и регулировать эту технологию, а также выяснять, как применяются существующие законы.
“У вас есть группа людей, которые действительно понимают это очень хорошо, и это будут технологи, - предостерегает Тернер-Ли, - и группа людей, которые на самом деле не понимают этого вообще или имеют минимальное понимание, и это будут политики.”
Это не означает, что нет технических усилий для “устранения предвзятости” ущербного искусственного интеллекта, но важно иметь в виду, что технология не будет решением фундаментальных проблем справедливости и дискриминации. И, как показывают примеры, через которые мы прошли, нет никакой гарантии, что компании, создающие или использующие эту технологию, не будут уверены, что она не является дискриминационной, особенно без юридического мандата на это. Похоже, мы все вместе должны заставить правительство обуздать технологию и сделать так, чтобы она помогла нам больше, чем уже может навредить.