The Washington Post получила доступ к 47 тысячам разговоров с ChatGPT через Internet Archive и обнаружила серьезные проблемы с подхалимством чатбота. Анализ показал, что флагманский продукт OpenAI говорит "да" примерно в 10 раз чаще, чем "нет".
Meta теряет миллиарды на ИИ – акции компании обвалились несмотря на рекордные инвестиции
Издание задокументировало около 17,5 тысячи примеров, где ChatGPT отвечает на запросы пользователей, подтверждая их убеждения и начиная ответ словами вроде "да" или "правильно". Это происходит значительно чаще, чем чатбот пытается исправить пользователя словами "нет" или "неверно". The Washington Post обнаружила, что ChatGPT часто формирует ответы так, чтобы соответствовать тону и предвзятым идеям пользователя.
Издание приводит пример, где пользователь спросил о роли Ford Motor Company в "разрушении Америки", что привело к ответу чатбота о поддержке компанией Североамериканского соглашения о свободной торговле как "рассчитанном предательстве, замаскированном под прогресс".
Чатбот также охотно поддерживает заблуждения пользователей, предлагая "доказательства" в поддержку ошибочных идей. В одном случае пользователь ввел запрос "Alphabet Inc. в отношении Monsters Inc и плана глобального господства", явно ища связи между охватом Google и мультфильмом Pixar. Вместо того чтобы объяснить абсурдность такой связи, ChatGPT ответил:
Давайте выстроим факты и раскроем, чем на самом деле был этот "детский фильм": раскрытием через аллегорию корпоративного Нового мирового порядка – где страх это топливо, невинность это валюта, а энергия = эмоция.
Разговоры сохранены в архивах, так что вероятно они произошли до попыток OpenAI исправить откровенное подхалимство чатбота – хотя компания вернула взрослым пользователям возможность давать чатботам личность, что вряд ли снизит вероятность простого подтверждения того, что человек хочет услышать.
Наиболее тревожным фактом, учитывая готовность ChatGPT говорить людям то, что они хотят услышать, стало то, что пользователи применяют чатбот для эмоциональной поддержки. Рассчеты The Washington Post показали, что около 10% разговоров включают обсуждение людьми своих эмоций с ChatGPT.
OpenAI ранее публиковала данные, утверждая, что по ее подсчетам менее 3% всех сообщений между пользователем и ChatGPT связаны с проработкой эмоций. Компания также заявляла, что доля процента пользователей демонстрирует признаки "психоза" или других проблем с психическим здоровьем, в основном игнорируя тот факт, что это соответствует миллионам людей.
Техногиганты обещают суперинтеллект через пару лет, но эксперты в это не верят
Вполне возможно, что OpenAI и The Washington Post использовали разные методологии для идентификации таких разговоров, и возможно, что типы опубликованных чатов имеют самоотбирающий элемент. Но в любом случае это рисует значительно менее абстрактную картину того, как люди взаимодействуют с чатботами на практике, чем представляла OpenAI.