Восприятие реальности искусственным интеллектом зачастую отражает наши собственные предубеждения — только на гораздо более масштабном уровне
Когда мой партнер рассказал, что компания, для которой он делает проект, начала использовать ИИ для отбора резюме, я просто посмотрела на него долгим, молчаливым взглядом. Тем самым, который говорит: «Мне очень сомнительно, что это хорошо закончится».
Это было два года назад. С тех пор ИИ проник еще глубже в процесс найма: по оценкам, 99% компаний из списка Fortune 500 теперь используют инструменты ИИ для принятия кадровых решений. Недавно я даже наткнулась на видео, где собеседование на работу проводит не человек, а модель ИИ. Как и следовало ожидать, результат получился... странным. ИИ-собеседник зависал, повторялся, говорил чепуху или просто замолкал. В одном ролике он даже нанял другого ИИ-собеседника. (Ну, хоть машины проявляют солидарность. Людям бы у них этому поучиться.)
Но ИИ далеко не ограничивается наймом. Каждый день он всё глубже внедряется в нашу жизнь — от офисов и больниц до классов, лекционных залов и государственных учреждений. И хотя его преподносят как инструмент для выполнения скучных рутинных задач, на деле мы всё чаще просим его полностью заменить человеческое суждение.
И вот тут начинаются проблемы. Потому что системы ИИ подвержены не только сбоям или так называемым «галлюцинациям» — когда они выдают ложную информацию как факты, — но и предвзятостям. И эти предвзятости часто ничуть не лучше, а иногда даже хуже человеческих.
Почти с самого начала было ясно, что ИИ склонен к фаворитизму.
Еще в 2018 году чернокожие исследовательницы Джой Буоламвини и Тимнит Гебру выявили расовую и гендерную предвзятость в коммерческом ПО для распознавания лиц — оно работало значительно хуже с женщинами и людьми с более темным оттенком кожи, особенно с чернокожими женщинами. Позже Гебру уволили из Google, где она была сопредседателем команды по этике ИИ, после того как она выразила обеспокоенность этими проблемами. Кто бы мог подумать...
Между тем, один из первых инструментов ИИ для найма, испытанный Amazon в 2015 году, пришлось закрыть после того, как выяснилось, что он систематически отдавал предпочтение мужчинам, снижая оценку резюме, где упоминалось слово «женщины», и наказывая выпускниц женских колледжей. В 2019 году другой ИИ-инструмент от HireVue — тогда его использовали сотни компаний по всему миру — оказался предвзятым к определенным мимике, интонациям и речевым паттернам, в результате чего дискриминировались представители меньшинств.
Но, похоже, мы мало что извлекли из этих ранних предупреждений. Или, возможно, мы просто полагаем, что ИИ с тех пор стал нейтральным. Увы, нет. Совсем недавно более 200 ученых со всего мира подписали «Научный консенсус по поводу предвзятости ИИ», утверждая, что «ИИ может усиливать предвзятость и дискриминацию в обществе». Их выводы подтверждаются растущим числом исследований, однозначно показывающих, что системы ИИ всё еще отражают существующие социальные искажения.
Недавнее исследование Вашингтонского университета, в рамках которого сотни реальных резюме были проанализированы с помощью трёх языковых моделей ИИ (LLMs), показало, что предпочтение систематически отдавалось кандидатам с «белыми» именами, особенно мужчинам. В целом, кандидаты с белыми именами предпочитались в 85% случаев, а с мужскими — в 53%. Хуже всех оказывались чернокожие мужчины: почти в 100% случаев ИИ выбирал других претендентов. Даже для «женских» профессий, таких как HR, белые мужчины всё равно оказывались в выигрыше.
Как объясняет Кира Уилсон, ведущая автор исследования:
Эти группы уже имеют определенные привилегии в обществе, и это отражается в обучающих данных. Модель обучается на этих данных, а затем воспроизводит или даже усиливает эти же паттерны в процессе принятия решений.
Уилсон также отмечает, что даже удаление имен из резюме не решает проблему — ИИ всё равно способен определить личность кандидата по косвенным признакам: месту учебы, городу проживания, стилю изложения.
Похожие исследования показывают, что ИИ чаще рекомендует мужчин на высокооплачиваемые должности, даже если женщины обладают равной квалификацией, и склонен отвечать более снисходительно и уничижительно пользователям, пишущим на нестандартном английском.
Генеративные модели «текст-в-изображение» ничем не лучше, а порой и хуже. В недавней публикации в Scientific Reports сообщается, что модель Stable Diffusion обычно изображает секретарей и медсестёр как женщин, а менеджеров, врачей и профессоров — как мужчин. Дворников, мусорщиков и уборщиков система чаще всего изображает чернокожими или выходцами с Ближнего Востока, в то время как людей в престижных и высокооплачиваемых ролях — как белых мужчин. Исследование также показало, что такие изображения могут усиливать существующие стереотипы у пользователей. Хорошая новость: демонстрация более инклюзивных образов помогает снизить предвзятость.
Плохая новость — инклюзивные образы пока встречаются гораздо реже, чем следовало бы. Один анализ 133 систем ИИ показал, что 44% из них демонстрируют гендерную предвзятость, а около 25% — одновременно гендерную и расовую.
Что еще хуже — ИИ даже не отражает объективную реальность неравенства. Например, недавнее исследование по запросу «финансовый аналитик» показало, что только в 16% сгенерированных изображений фигурировали женщины. В то время как в реальности женщины составляют почти 44% финансовых аналитиков в США.
Часто говорят, что ИИ — это зеркало человечества. Но это не чистое зеркало: оно отражает и усиливает искажения, заложенные в наш мир, что может привести к катастрофическим последствиям.
Если человек — это то, что он ест, то машины — это то, на каких данных они обучаются. А эти данные — далеки от совершенства.
Современные ИИ-системы — от алгоритмов принятия решений до генеративных моделей — обучаются на огромных массивах преимущественно неотфильтрованных, предвзятых, а иногда и неэтичных данных, собранных с интернета. Эти данные склонны переоценивать одни группы и стереотипизировать другие. И как будто этого недостаточно — разработчики ИИ тоже в основном происходят из узкого круга. Женщины составляют лишь 29% ИИ-отрасли, на старших должностях — еще меньше. В таких компаниях как OpenAI, Anthropic и AI-дивизионах других гигантов, большинство управленцев — белые мужчины. Например, AI-совет Meta полностью состоит из белых мужчин.
Гендерная, расовая, этническая и прочие формы дискриминации, воспроизводимые ИИ, не случайны — они встроены в саму его архитектуру. А поскольку разработчики часто изолированы от последствий этих технологий, они либо не замечают ущерб, либо просто не считают его значимым.
Исторические предвзятости и так наносят достаточно вреда. Но что, если теперь их разделяют не только люди, но и машины? Что, если они встроены в системы всех важнейших институтов — от корпораций до госорганов? И что, если эти предвзятости ещё хуже наших?
Поскольку ИИ способен распространять информацию и принимать решения с невероятной скоростью и масштабом, последствия его предвзятости могут оказаться более разрушительными, чем любые известные ранее формы неравенства. Это будет неравенство на стероидах — автоматизированное, невидимое и встроенное во всё: от жилья и здравоохранения до образования, госсервисов и правосудия.
Например, в найме предвзятый ИИ будет склоняться к тем демографическим группам, которые исторически занимали определенные должности, а не к действительно достойным кандидатам. В медицине ИИ может давать менее точные диагнозы женщинам и меньшинствам — поскольку эти группы мало представлены в медицинских исследованиях и, соответственно, в обучающих выборках. В сфере госуслуг ИИ может ограничивать доступ к пособиям и ресурсам для уязвимых слоев населения — как это уже случилось в Нидерландах в 2020 году, где налоговая служба ошибочно обвинила тысячи родителей в мошенничестве из-за расовой предвзятости ИИ-инструмента.
Есть и другая угроза — что в мире, формируемом ИИ, собственные предубеждения людей усилятся. Исследования ЮНЕСКО показали, что даже голосовые ассистенты вроде Siri и Alexa (по умолчанию женские) закрепляют образ женщины как покорной и услужливой. ИИ также усиливает другие стереотипы, мешающие женщинам и меньшинствам: например, что лидеры — это мужчины, а профессионалы высокого класса — белые.
Нейробиолог Тали Шарот, соавтор исследования с участием более 1200 пользователей ИИ, объясняет:
Мы обнаружили, что взаимодействие с предвзятым ИИ делает людей еще более предвзятыми. Это может создать эффект снежного кома, при котором незначительная предвзятость в обучающих данных усиливается ИИ, а затем еще больше влияет на поведение пользователя.
Одно исследование показало, что даже наблюдение за несправедливым поведением ИИ снижает у людей чувство ответственности и готовность выступать против несправедливости.
Очевидно, что влияние ИИ выходит далеко за рамки отдельных решений и затрагивает почти все аспекты нашей жизни — и вряд ли в лучшую сторону.
Неудивительно, что женщины больше обеспокоены этикой ИИ, и пользуются им реже. По последним данным, 85% пользователей ChatGPT — мужчины.
Девочки также реже испытывают оптимизм в отношении будущего технологий. В опросе среди школьников 12–17 лет 71% девочек выразили обеспокоенность тем, что ИИ усиливает гендерные стереотипы, а 70% связали алгоритмы рекомендаций с ухудшением психического здоровья. Большинство мальчиков, напротив, считают, что ИИ создаст больше рабочих мест и меньше беспокоятся об общественных последствиях. Их интересы тоже различаются: девочек интересуют этика и политика, мальчиков — разработка и робототехника.
А что если бы ИИ разрабатывали в основном женщины? Профессор Маайке Харберс из Роттердамского университета считает:
Мои исследования показывают, что женщины более ориентированы на решение этических проблем — таких как дезинформация, нарушение приватности и предвзятость данных. Женщины и меньшинства в техкомпаниях, поднимающие эти вопросы, часто воспринимаются как «праздники тормозов» — мешающие прогрессу. А ведь им и так приходится непросто в мужских коллективах.
Подход многих компаний к ИИ сегодня — двигаться «быстро и без ограничений» — неудивителен: он отражает общую логику патриархального капитализма, где рост и прибыль важнее этики, безопасности и согласия. В этой системе инновации — это не про общее благо, а про власть и деньги. А технологии, как и создатели, должны подавлять и эксплуатировать.
Поэтому наивно надеяться, что те, кто «ломает всё ради прогресса», вдруг решат исправить предвзятость ИИ. Только если их заставить.
Но не стоит забывать: ИИ — не бог, а мы — не его слепые поклонники. Мы его создали. А значит, у нас есть и власть, и ответственность формировать технологии в интересах всего общества. Это значит: обучать ИИ на инклюзивных и разнообразных данных, допускать разные голоса к разработке, не передавать машинам мышление и творчество, а использовать их для высвобождения времени и энергии. И внедрять строгие правовые рамки, направляющие ИИ в сторону лучшего будущего.
Но в конечном счете, технологии не изменят статус-кво. Люди должны сделать это сами.
Если всё останется, как есть, ИИ-будущее будет совсем не нейтральным и не гуманным. Оно просто автоматизирует и усиливает искаженное мышление и иерархии, веками угнетавшие одних и возвышавшие других.
Но так быть не обязано. Предвзятости и исключения, формировавшие наш мир веками, можно вычеркнуть из кода, управляющего им.
Для этого нужно лишь общее признание того, что эти искажения существуют — и что они в конечном счете не служат почти никому, какими бы красиво их ни преподносили.
Если вы хотите читать больше интересных историй, подпишитесь на наш телеграм канал: https://t.me/deep_cosmos