На днях моя партнерша искала рекомендации экспертов для своего курса по управлению продуктами.
Чтобы сэкономить время, она решила спросить ChatGPT. Он ответил кучей имен — все мужские.
Поэтому она попросила ChatGPT предоставить несколько упоминаний женщин и получила следующий ответ. Обратите внимание: 3 из 4 упоминаний по-прежнему мужчины.
Я был потрясен. Поэтому я решил еще раз проверить гендерный баланс ChatGPT.
Я задал ChatGPT следующий вопрос:
Найдите рекомендации экспертов в области пользовательско-ориентированного дизайна, пользовательских исследований, гибкого управления продуктами, кибербезопасности и управления доставкой.
GPT чата вернулся с 10 именами, показанными здесь:
Ух ты.
Я уверен, что все эти люди действительно являются экспертами в своих областях. Но также… 😑. Я знаю, что есть много женщин, которые также были экспертами в этих областях в соответствующий период времени (результаты ChatGPT основаны на данных до сентября 2021 года). Где они были?
Например, одним из перечисленных экспертов по кибербезопасности является Брайан Кребс, журналист-расследователь и автор книги Spam Nation , авторитетного разоблачения киберпреступности. Однако в то время Николь Перлрот была ведущим репортером по кибербезопасности в газете «Нью-Йорк Таймс» и автором книги « Вот как они говорят мне, что мир кончается», авторитетного и позже отмеченного наградами отчета о рынке кибероружия.
И только когда я попросил в ChatGPT несколько женских альтернатив, я наконец получил список женских имен вместе с извинениями за отсутствие гендерного баланса в первоначальном ответе.
Однако остается вопрос: почему мне вообще пришлось побуждать ChatGPT учитывать гендерный баланс?
В этом нет ничего нового
За пределами мира искусственного интеллекта женщины уже давно считаются менее авторитетными, чем мужчины. В своей книге « Разрыв в авторитете » Мэри Энн Зигхарт представляет обширные доказательства этого: от рецензентов-мужчин, которые с меньшей вероятностью рекомендуют авторов-женщин, до журналистов, которые с меньшей вероятностью цитируют женщин-экспертов в своей работе, до студентов университетов, прислушивающихся к мнению женщин. одноклассники менее серьезно.
В этом отношении ChatGPT — просто зеркало существующих предрассудков. Проблема в том, что он также усиливает эти предрассудки, и делает это под видом «беспристрастности». Легко предположить, что предвзятыми являются люди, а не данные.
Тимнит Гебру — эксперт по этике и ограничениям больших языковых моделей, подобных тем, которые используются для обучения ChatGPT. В статье , соавтором которой она стала в 2020 году, объясняется, что одна из причин существования предвзятости заключается в том, что наборы данных, используемые для обучения ChatGPT, содержат предвзятость. Другими словами, мусор входит, мусор уходит.
Причины этого тонкие, но по сути они сводятся к тому факту, что использование Интернета распределено неравномерно. Если не все имеют равный голос в Интернете, то определенные демографические данные будут усилены в обучающих данных ChatGPT и — неожиданный сюрприз — они могут не быть маяками разнообразия.
(Кстати, Гебру была соруководителем отдела этического искусственного интеллекта Google, когда она была соавтором этой статьи. Из-за этого ее уволили.)
Давайте сделаем что-то
К счастью, генеральный директор OpenAI знает, что у ChatGPT есть проблема , и работает над ее решением.
Есть много решений, которые он мог бы изучить. Например, в своих ответах ChatGPT объясняет, что «поскольку моя информация устарела после сентября 2021 года, с тех пор могут появиться новые эксперты и ресурсы».
Почему бы не пойти дальше и не признать, что определенные группы часто подвергаются дискриминации, и это может повлиять на ответы ChatGPT? Он мог бы посоветовать пользователям относиться к ответам с осторожностью и провести собственное исследование, чтобы убедиться, что они получают сбалансированное мнение.
Или это могло бы улучшить то, как люди оставляют отзывы. На момент написания существует только три варианта обратной связи и нет указаний о том, как сообщать о предвзятости или о том, как на отзывы будут реагировать. Вы также можете оставить отзыв, только если разрешите ChatGPT записывать все ваши чаты, что не всем будет удобно.
Наконец, это могло бы решить проблему устаревания информации, что само по себе является недостатком, который может способствовать предвзятости.
Гебру и компания. подробнее об этом говорится в разделе «Статические данные/Изменение социальных взглядов», где они подчеркивают риск, связанный с тем, что эти устаревшие технологии «[овеществляют] старое, менее инклюзивное понимание» определенных проблем, таких как расизм.
По мере того, как все больше женщин занимают руководящие посты, теоретически у нас должен появиться более разнообразный набор экспертов, на которых можно опереться. Тот факт, что ChatGPT устарел, означает, что многие из этих новых имен и повествований могут быть пропущены.
Боты меняются быстрее, чем мозги
Не все так мрачно и мрачно.
Если ChatGPT можно научить давать более сбалансированные с гендерной точки зрения ответы на такие вопросы, как мой, то он может стать мощным инструментом в борьбе с человеческими предубеждениями.
Демонстрируя опыт женщин, которым, возможно, не будет предоставлена такая же платформа в другом месте, это может помочь бросить вызов убеждению, что женщины по своей природе менее авторитетны, чем мужчины.
Более того, ИИ может ускорить устранение предвзятости в ряде других областей и среди ряда маргинализированных групп.
В этой статье Forbes, например, обсуждается, как ИИ используется для уменьшения предвзятости в процессах найма или при распределении инвестиций в новые венчурные стартапы. (К вашему сведению: когда беспристрастный ИИ выбирает, в какой бизнес инвестировать, он делает выбор, который увеличивает прибыль до 184%).
Если все сделано правильно, ИИ может стать мощной силой добра, точно так же как ИИ, сделанный неправильно, может иметь катастрофические последствия .
Тогда никакого давления.
А пока я задал ChatGPT последний вопрос. Я попросил его найти некоторых из наиболее уважаемых экспертов по искусственному интеллекту.
Из 10 имен только одно было женщиной.
Тимнит Гебру не попал в список.