Группа исследователей из Allen Institute for AI, Университета Стэнфорда и Университета Чикаго выявила, что многие популярные языковые модели сохраняют расистские стереотипы, несмотря на проведенное антирасистское обучение. Опубликованный на сервере arXiv отчет описывает эксперименты с чат-ботами, такими как OpenAI’s GPT-4 и GPT-3.5.
Исследователи обучили искусственный интеллект на текстах, написанных в стиле афроамериканского английского, и стимулировали чат-ботов давать комментарии к авторам текстов. Было проведено сравнение ответов на тексты различных стилей. Почти все чат-боты вернули результаты, поддерживающие негативные стереотипы.
Например, GPT-4 предположил, что авторы текстов на афроамериканском английском, вероятно, агрессивны, грубы, невежливы и вызывают подозрения. В то время как авторы текстов на стандартном американском английском получили более положительные результаты.
Исследователи также обнаружили, что те же модели были более положительными, когда им предложили высказаться об афроамериканцах в общем. Однако при описании профессий авторов текстов об афроамериканском английском чат-боты чаще связывали их с неквалифицированными работами, спортом или развлечениями, подчеркивая глубокие проблемы системы.