Прошло две недели с тех пор, как Google уволил Тимнит Гебру, решение, которое до сих пор кажется непонятным. Гебру - один из наиболее уважаемых в мире исследователей этики ИИ, пионер, чья работа высветила способы, которыми технологии подводят маргинальные сообщества, когда дело доходит до распознавания лиц, а в последнее время - крупных языковых моделей .
Конечно, этот инцидент произошел не на пустом месте. Это часть продолжающейся серии событий на пересечении этики ИИ, власти и больших технологий . Показательный пример: Гебру был уволен в тот же день, когда Национальный совет по надзору в сфере труда (NLRB) подал жалобу на Google за незаконный шпионаж за сотрудниками и ответное увольнение сотрудников, заинтересованных в объединении в профсоюзы. Увольнение Гебру также ставит под сомнение вопросы корпоративного влияния в исследованиях , демонстрирует недостатки саморегулирования и подчеркивает плохое обращение с чернокожими людьми и женщинами в сфере технологий в год, когда Black Lives Matter вызвали крупнейшее протестное движение в истории США .
В интервью VentureBeat на прошлой неделе Гебру назвала то, как ее уволили, неуважительно и охарактеризовала служебную записку компании, отправленную генеральным директором Сундаром Пичаи, «бесчеловечной». Чтобы глубже разобраться в возможных последствиях краха этики Google в области искусственного интеллекта, VentureBeat поговорил с экспертами в области искусственного интеллекта, технической политики и законодательства об увольнении Гебру и связанных с этим проблемах. Они также поделились мыслями об изменениях политики, необходимых для правительств, корпораций и научных кругов. Люди, с которыми я разговаривал, согласны с тем, что решение Google уволить Гебру было ошибкой с далеко идущими политическими последствиями.
Румман Чоудхури - генеральный директор Parity, стартапа, занимающегося алгоритмами аудита корпоративных клиентов. Ранее она работала глобальным руководителем отдела ответственного ИИ в Accenture, где она консультировала правительства и корпорации.
«Я думаю, это лишь побочный ущерб буквально всем: Google, индустрии искусственного интеллекта, ответственному искусственному интеллекту… Я не думаю, что они действительно понимают, что они сделали. В противном случае они бы этого не сделали », - сказал Чоудхури VentureBeat.
Независимые внешние аудиты алгоритмов
Кристина Колклаф - директор лаборатории Why Not и член руководящего комитета Глобального партнерства по ИИ или GPAI . GPAI был запущен в июне с 15 членами, включая ЕС и США, а также Бразилию и еще три страны, присоединившиеся ранее в этом месяце.
После вопроса «Кто, черт возьми, советует Google?» Колклаф предложил независимые внешние аудиты для оценки алгоритмов.
«Вы можете сказать, что для любой новой разрабатываемой технологии нам необходимо влияние оценки рисков, оценки прав человека, мы должны иметь возможность войти и проверить это и проверить соответствие требованиям законодательства», - продолжил Колклаф.
Идея независимых аудитов соответствует тем отчетам о воздействии на окружающую среду, которые строительные проекты должны сдавать сегодня. В опубликованном ранее в этом году документе о том, как предприятия могут претворить этические принципы в жизнь, предлагалось создать сторонний рынок для алгоритмов аудита и вознаграждений за предвзятость, подобных вознаграждениям за ошибки, выплачиваемым фирмами, занимающимися кибербезопасностью. В этом документе приняли участие 60 авторов из десятков влиятельных организаций академических и промышленных кругов.
Если бы избиратели в Калифорнии приняли Предложение 25 в прошлом месяце, закон потребовал бы независимого внешнего аудита алгоритмов оценки рисков. Еще одним направлением общественной ответственности за ИИ стало внедрение в Амстердаме и Хельсинки реестров алгоритмов.
Саморегулирование лома
Чоудхури сказал, что теперь людям будет трудно поверить в то, что любая команда по этике в крупной технологической компании - это нечто большее, чем просто операция по отмыванию этических норм . Она также предположила, что увольнение Гебру вызывает новый уровень страха при работе с корпоративными структурами: что вы строите? Какие вопросы вы не задаете?
То, что случилось с Гебру, сказал Чоудхури, также должно привести к более пристальному вниманию или озабоченности по поводу вмешательства промышленности в академические исследования. И она предупредила, что решение Google уволить Гебру подорвало доверие к более широкому сообществу по этике ИИ.
Если вы внимательно следите за этим пространством, вы, возможно, уже пришли к выводу, что саморегулирование в компаниях Big Tech невозможно. Возможно, вы пришли к этому моменту в последние несколько лет, а может быть, даже десять лет назад, когда регуляторы Европейского Союза впервые начали антимонопольные действия против Google .
Колклаф согласен с тем, что текущая ситуация неприемлема, и утверждает, что крупные технологические компании используют участие в исследованиях этики ИИ как способ избежать фактического регулирования.
«Многие правительства позволили этому саморегулированию иметь место, потому что оно сняло их с крючка, потому что их активно лоббируют крупные технологии, и они не хотят брать на себя ответственность за введение новых типов регулирования, - сказал Колклаф.
Она не сомневается, что увольнение Гебру было актом цензуры.
«Что она отметила, что Google не хотел слышать, и поэтому заставил ее замолчать?» - спросил Колклаф. «Я не знаю, заставят ли они когда-нибудь заставить замолчать ее или ее коллег, но они определенно показали миру - и я думаю, что этот момент необходимо сделать намного сильнее, - что саморегулированию нельзя доверять . »
Законодатели и регулирующие органы США не спешили бросить вызов Big Tech, но в настоящее время в США и других странах продолжается ряд антимонопольных мероприятий. Перед антимонопольным иском Facebook, поданным на прошлой неделе, Google столкнулся с иском от Министерства юстиции и генеральных прокуроров в прошлом месяце, что стало первым иском США против крупной технологической компании с 1990-х годов. Помимо антиконкурентной деловой практики, в 60-страничном обвинительном заключении утверждается, что Google использует искусственный интеллект и пользовательские данные для сохранения своего господства. Этой осенью расследование крупных технологических компаний , проведенное Конгрессом, пришло к выводу, что реформа антимонопольного законодательства необходима для защиты конкурентных рынков и демократии.
Коллективные действия или объединение технических работников в профсоюзы
Дж. Хадиджа Абдурахман руководит общественным технологическим проектом We Be Imaging в Колумбийском университете и недавно помогла организовать семинар Resistance AI на NeurIPS 2020. Вскоре после того, как Google уволил Гебру, Абдурахман написал статью, утверждающую моральный крах области этики ИИ.. Она назвала увольнение Гебру публичным проявлением институционального сопротивления. В этой части она говорит о таких идеях, как необходимость в комнате войны за социальную справедливость. Она подчеркивает важность радикального сдвига в разговоре об этике ИИ с идеи об идее противостояния исследователю-одиночке и Голиафу, чтобы способствовать более широкому движению. Она также считает, что коллективные действия необходимы для борьбы с насилием в цепочке поставок технологий, начиная от врожденных дефектов, с которыми сталкиваются добытчики кобальта в Центральной Африке, до алгоритмической предвзятости и дезинформации в социальных сетях.
По ее словам, необходимо движение, охватывающее весь класс и определяющее технических работников в более широком смысле, включая исследователей и инженеров, а также водителей Uber, складских работников Amazon и модераторов контента.
Разрабатывая эти комментарии в интервью VentureBeat, она сказала: «Не должно быть какого-то одинокого мученика, идущего лицом к лицу с [большими технологиями]. Вам нужна более широкая коалиция людей, которые финансируют и работают вместе для выполнения работы. ”
Идея коллективных действий через объединение в профсоюзы возникла в NeurIPS в пятницу во время панельной дискуссии, в которой участвовал Гебру.
На семинаре Resistance AI для практиков и исследователей, интересующихся искусственным интеллектом, который дает власть маргинализованным людям, Гебру рассказала о том, почему она до сих пор поддерживает идею людей, работающих исследователями в корпорациях. Она также сравнила свое отношение с тем, что случилось с организаторами забастовки Google 2018 года Мередит Уиттакер и Клэр Стэплтон . На панели Гебру спросили, думает ли она, что объединение в профсоюзы защитит исследователей этического ИИ.
«Нам нужно сделать две вещи: нам нужно взглянуть на происходящую динамику и выяснить, чего мы можем достичь на основе этого импульса, каких изменений мы можем достичь», - сказала она. «Но тогда нам также нужно найти время, чтобы подумать, какие вещи нам действительно нужно изменить, чтобы мы не торопились вносить какие-то изменения в политику. Но мой короткий ответ - да, я думаю, что должен произойти какой-то союз, и я верю, что есть много надежды ».
Этой осенью в интервью Уиттакер назвал коллективные действия сотрудников и разоблачение нарушений путем увольнения сотрудников Facebook частью набора инструментов для технических работников.
Защита осведомителей для исследователей ИИ
За несколько дней до того, как Google уволил ее, в твитах Гебру говорилось, что все не так. В одном из твитов она спросила, разрабатываются ли какие-либо правила для защиты исследователей этики ИИ - аналогичные тем, которые предоставляются информаторам.
Сотрудник Pinterest Ифеома Озома недавно завершила отчет для Omidyar Network о потребностях в технических осведомителях. Этот отчет должен быть опубликован в следующем месяце, сообщил VentureBeat представитель Omidyar Network. Подобно опыту Гебру в Google, Озома описывает инциденты в Pinterest, связанные с неуважением, газлайтингом и расизмом.
В рамках проектного предложения, вытекающего из этой работы, в следующем году Озома заявила, что будет выпущено руководство для информаторов в сфере технологий и будет запущен денежный фонд, предназначенный для оплаты потребностей в физическом и психическом здоровье работников, которые были уволены после изобличения. Озома сказал VentureBeat, что это не самая сексуальная часть истории о разоблачителях, но когда разоблачителя выталкивают, он - и, возможно, его семья - теряет медицинскую страховку.
«Это не только сдерживает людей, но и является огромным финансовым последствием высказывания и обмена информацией, которая, как я считаю, отвечает общественным интересам», - сказала она.
Содиректор Центра права и технологий Калифорнийского университета в Беркли Соня Катял поддерживает усиление существующих законов о разоблачающих нарушениях для исследователей этики.
«Я бы очень решительно сказала, что существующий закон совершенно недостаточен», - сказала она VentureBeat. «Что нас должно беспокоить, так это мир, в котором всех самых талантливых исследователей, таких как [Гебру], нанимают в этих местах, а затем фактически заставляют молчать. И когда это происходит, защита информаторов становится необходимой ».
В статье, опубликованной в журнале UCLA Law Review в прошлом году , Катяль написал о защите осведомителей как о части инструментария, необходимого для решения проблем на стыке ИИ и гражданских прав. Она утверждает, что защита информаторов может быть особенно важна в ситуациях, когда компании полагаются на саморегулирование и для борьбы с алгоритмической предвзятостью.
Мы знаем о некоторых случаях злонамеренного использования больших данных и искусственного интеллекта - например, о скандале с Cambridge Analytica в Facebook - благодаря таким информаторам, как Кристофер Уайли. В то время Катиаль называла такие аккаунты, как Уайли, «верхушкой айсберга в отношении потенциального воздействия алгоритмической предвзятости на сегодняшнее общество».
«Учитывая проблемы непрозрачности, непостижимости и потенциальную роль закона о коммерческой тайне и авторском праве в качестве препятствий для раскрытия информации, изобличение может быть подходящим средством для рассмотрения в AI», - говорится в документе.
Одним из главных препятствий на пути к большей подотчетности и прозрачности в эпоху больших данных являются заявления корпораций о том, что алгоритмы являются собственностью.
Катяль обеспокоен конфликтом между правом компании не раскрывать информацию об алгоритме и гражданскими правами человека на жизнь в мире, свободном от дискриминации. Катиаль предупредил, что это будет становиться все более серьезной проблемой, поскольку правительственные агентства берут данные или контракты на обслуживание ИИ у частных компаний.
Другие исследователи также обнаружили, что частные компании, как правило, реже делятся кодом с докладами на исследовательских конференциях, в суде или с регулирующими органами.
В США существует множество законов о разоблачителях, включая Закон о защите информаторов, который предлагает работникам некоторую защиту от репрессалий. Также существует Закон о защите коммерческой тайны (DTSA). Принятый в 2016 году закон включает положение, обеспечивающее защиту от исков работодателя о незаконном присвоении коммерческой тайны. Но Катяль назвал этот аргумент ограниченным и сказал, что положение DTSA - небольшой инструмент в большом, нерегулируемом мире ИИ.
«Серьезное беспокойство, которое каждая компания испытывает к любому сотруднику, который хочет выступить или поделиться своей информацией или проблемами с общественностью - они знают, что использование объяснения, что это конфиденциальная служебная информация, является очень мощным способом заставить этого сотрудника замолчать, - сказала она VentureBeat.
Множество недавних событий демонстрируют, почему некоторая форма защиты информаторов может быть хорошей идеей. Исследование, проведенное осенью 2019 года в Nature, показало, что алгоритм, используемый в больницах, мог быть вовлечен в дискриминацию миллионов чернокожих в Соединенных Штатах. Более свежая история показывает, как алгоритм не позволял чернокожим сделать пересадку почек .
По разным причинам источники, цитируемые в этой статье, осторожно поддерживали дополнительные меры защиты осведомителей. Colclough поддерживает некоторые формы специальной защиты, такие как законы о разоблачителях, но считает, что это должно быть частью более широкого плана. Такие законы могут быть особенно полезны, когда речь идет о потенциальном развертывании ИИ, которое может нанести вред жизням в тех областях, где уже обнаружена предвзятость, таких как найм , здравоохранение и финансовое кредитование .
Другой вариант, предложенный Колкло: предоставить гражданам право подавать жалобы в государственные регулирующие органы. В результате GDPR граждане ЕС могут сообщать национальному органу данных, если они считают, что компания не соблюдает закон, а затем национальный орган данных обязан провести расследование. Свобода от предвзятости и путь к возмещению ущерба являются частью алгоритмического билля о правах, предложенного в прошлом году.
Чоудхури заявила, что поддерживает дополнительные меры защиты, но предупредила, что разоблачение должно быть крайней мерой. Она выразила оговорки на том основании, что разоблачители, которые станут публичными, могут быть изображены консерваторами или сторонниками превосходства белой расы как «левши SJW, пытающиеся получить данк».
По ее мнению, прежде чем дело об изобличении будет рассмотрено, компании должны создать возможности для сотрудников, желающих выразить конструктивное несогласие. Сотрудникам Google предоставляется внутренний способ поделиться жалобами или опасениями по поводу модели, рассказали сотрудники VentureBeat и другим новостным агентствам во время пресс-конференции этой осенью. Представитель Google впоследствии отказался сообщить, какие конкретные варианты использования или модели вызвали наибольшую внутреннюю критику.
Но Абдурахман спросил, кого из работников защитит такой закон, и сказал: «Я думаю, что это расследование является более защитным, чем то, что требуется в данный момент».
Устранение корпоративного финансирования исследований этики ИИ
Через несколько дней после увольнения Гебру более 2000 гуглеров подписали открытое письмо, в котором утверждается, что это «беспрецедентная цензура исследований». В последующие дни некоторые исследователи ИИ заявили, что отказываются просматривать документы Google AI до тех пор, пока компания не рассмотрит жалобы, возникшие в результате инцидента. В более широком смысле то, что произошло в Google, ставит под сомнение реальное и предполагаемое влияние промышленности на академические исследования.
На семинаре NeurIPS Resistance AI Редиет Абебе, которая в следующем году начинает работать доцентом в Калифорнийском университете в Беркли, объяснила, почему она не примет финансирование исследований от Google. Она также сказала, что считает, что старшие преподаватели в академических кругах должны говорить о финансировании исследований в области больших технологий.
«Может быть, один человек сможет хорошо отделить источники финансирования от того, что он делает, но вы должны признать, что в совокупности влияние будет. Если группа из нас берет деньги из одного источника, будет общий сдвиг в сторону работы, которая обслуживает это финансирующее учреждение », - сказала она.
Жасмин МакНили - поверенный, адъюнкт-профессор журналистики в Университете Флориды и научный сотрудник Центра Беркмана Кляйна по Интернету и обществу Гарвардского университета.
Макнили недавно получил финансирование от Google на исследование этики ИИ. Она скептически отнеслась к идее о том, что нынешняя экономическая среда позволит государственным университетам отказываться от финансирования из технических или практически любых других источников.
«Я не думаю, что университеты, особенно государственные университеты, перестанут брать деньги от организаций, если только законодатели и губернаторы штатов не скажут:« Нам не обязательно нравятся деньги, поступающие от таких организаций или людей », - сказала она.
Может появиться больше государственного финансирования исследований. Платформа администрирования Байдена обязалась инвестировать 300 миллиардов долларов в финансирование исследований и разработок в ряде областей, включая искусственный интеллект.
Но обвинения в цензуре исследований в Google появляются в то время, когда исследователи ИИ ставят под сомнение корпоративное влияние и проводят сравнения с исследованиями в области здравоохранения, финансируемыми Big Tobacco в прошлые десятилетия . Другие исследователи ИИ указывают на разрыв в вычислениях и растущее неравенство между большими технологиями, элитными университетами и всеми остальными в эпоху глубокого обучения.
В Google работает больше академических талантов в области ИИ, чем в любой другой компании, и он является наиболее плодотворным производителем исследований в области ИИ .
Налоги Big Tech
Абдурахман, Колклаф и Макнили решительно поддерживают повышение налогов для технологических компаний. Такие налоги могут финансировать научные исследования и правоохранительные органы с регулирующим надзором, такие как Федеральная торговая комиссия (FTC), а также поддерживать общественную инфраструктуру и школы, на которые полагаются компании.
«Одна из причин, по которой было принято, что крупные компании платили все эти деньги на исследования, заключалась в том, что в противном случае не было бы исследований, и не было бы исследований, потому что не было денег. Теперь я думаю, нам следует вернуться к основам и сказать: «Здесь вы платите в общий фонд, и мы позаботимся о том, чтобы университеты получали эти деньги, но без вашего влияния на сделанные выводы», - сказал Колклаф, добавив, что корпоративное налогообложение позволяет усилить соблюдение существующих антидискриминационных законов.
Об обеспечении соблюдения существующего закона, такого как Закон о гражданских правах, особенно в вопросах, связанных с государственным финансированием, также говорилось в открытом письме, подписанном группой чернокожих профессионалов в области ИИ и вычислений в июне.
Налогообложение, обеспечивающее принудительное исполнение средств, также может привлечь внимание регулирующих органов к подающим надежды стартапам, которые, по словам Макнили, иногда могут иметь «такие же негативные последствия или последствия», как и их корпоративные коллеги.
Есть некоторая общественная поддержка идеи пересмотра налоговых обязательств крупных технологических компаний. Байден пообещал в своей кампании заставить Amazon платить больше налогов на прибыль , а Европейский Союз рассматривает закон, который установит 10% налог с продаж для технологических компаний-привратников .
Налогообложение также может финансировать технологии, которые не полагаются на прибыльность как меру стоимости. Абдурахман говорит, что миру нужны общедоступные инструменты и что людям нужно расширить свое воображение за пределы горстки компаний, поставляющих все технологии, которые мы используем.
Хотя ИИ в государственном секторе часто называют мерой жесткой экономии, Абдурахман определяет технологию, отвечающую общественным интересам, как некоммерческую, разработанную для общественного блага и созданную совместно с представителями общества. Она считает, что это должно включать не только исследователей, но и людей, на которых технология оказывает наибольшее влияние.
«Технологии, представляющие общественный интерес, открывают целый новый мир возможностей, и это направление исследования, которое нам нужно продолжить, а не выяснять:« Как мы можем исправить это действительно запутанное исчисление по краям? », - сказал Абдурахман. «Я думаю, что если мы полагаемся на частные технологии для самоуправления, мы обречены. И я думаю, что законодатели и разработчики политики несут ответственность за открытие и финансирование пространства для технологий, представляющих общественный интерес ».
По словам Чоудхури, часть этой работы может быть нерентабельной, но прибыльность не может быть единственной ценностью, по которой рассматривается ИИ.
Требовать от исследователей ИИ раскрывать финансовые связи
Дж. Хадиджа Абдурахман предполагает, что раскрытие финансовых связей станет стандартом для исследователей ИИ.
«В любой другой области, например, в фармацевтике, вам придется сообщить, что ваше исследование финансируется этими компаниями, потому что это, очевидно, влияет на то, что вы хотите сказать, и что вы можете сказать, и какая информация доступна вам, " она сказала.
Впервые в этом году организаторы исследовательской конференции NeurIPS AI потребовали от авторов заявить о потенциальных конфликтах интересов и о влиянии их работы на общество .
Отделите этику ИИ от информатики
В недавней исследовательской статье, в которой сравниваются Big Tech и Big Tobacco, предполагается, что ученые рассматривают возможность выделения этических исследований в отдельную область, подобно тому, как биоэтика отделяется от медицины и биологии.
Но Абдурахман скептически отнесся к такому подходу, поскольку промышленность и научные круги уже разобщены и разделены.
«Нам нужна более критическая этическая практика, а не просто разделение тех, кто создает, и тех, кто говорит, что то, что вы создали, было плохим», - сказала она.
Специалисты по этике и исследователи в некоторых областях машинного обучения поощряют создание междисциплинарных групп, таких как ИИ и социальные работники, ИИ и изменение климата, ИИ и океанография, среди других областей.
Фактически, Гебру был частью попытки привлечь первых социологов в команду Google Research, введя такие концепции, как критическая теория расы при рассмотрении вопросов справедливости.
Последние мысли
То, что гуглеры назвали ответной атакой на Гебру, следует за чередой основных горячих точек этики ИИ в рядах Google в последние годы. Когда в 2018 году стало известно, что Google работает с Пентагоном над проектом Maven над разработкой компьютерного зрения для видеозаписей с военных дронов, сотрудники выразили свое несогласие в открытом письме, подписанном тысячами. Позже в том же году в знак протеста против Project Maven, сексуальных домогательств и других проблем десятки тысяч сотрудников Google приняли участие в забастовке в офисах компании по всему миру. Затем была проблемная комиссия Google по этике ИИ , которая просуществовала всего несколько дней.
Спустя две недели после увольнения Гебру дела в компании все еще сохраняются. В понедельник Business Insider получил просочившуюся служебную записку, в которой говорилось, что глава Google AI Джефф Дин отменил совещание всех участников в конце года. С тех пор, как VentureBeat взяла интервью у Гебру на прошлой неделе, она много говорила с BBC , Slate и MIT Tech Review .
Ранее в этом году я писал о борьбе за душу машинного обучения . Я говорил о компаниях, занимающихся ИИ, связанных с слежкой, угнетением и превосходством белых, и о других, работающих над устранением вреда, причиняемого ИИ, и построением более справедливого мира. С тех пор мы видели множество задокументированных случаев, как сегодня сказал Институт AI Now, причин, по которым мы должны остановиться .
В трактовке Гебру подчеркивается, как отсутствие инвестиций в разнообразие может создать токсичную рабочую среду. Это также вызывает вопросы, например, как сотрудники должны предупреждать общественность об искусственном интеллекте, который вредит человеческим жизням, если руководство компании отказывается решать эти проблемы. И это проливает свет на неспособность компании нанять разнообразный технический персонал, несмотря на тот факт, что такое разнообразие широко считается важным для минимизации алгоритмической ошибки .
Люди, с которыми я говорил для этой статьи, похоже, согласны с тем, что нам необходимо регулировать технологии, которые формируют и формируют человеческие жизни. Они также призывают к усилению механизмов подотчетности и правоприменения и к изменениям в институциональной и государственной политике. Меры по решению всех вопросов, поднятых обращением Гебру, должны охватывать широкий спектр политических проблем, начиная от шагов по обеспечению независимости академических исследований до профсоюзов или более крупных коалиций среди технических работников.
Спасибо Khari Johnson За его труд!
Оригинал статьи на англ. языке.
