589 подписчиков

Признаки психических расстройств у пользователей ChatGPT

19 июня19 июн

2 мин

Результаты внутреннего аудита OpenAI показали масштаб психических кризисов у пользователей ChatGPT. Компания предприняла шаги по улучшению реакции системы на эти ситуации. 🔎 Что сделали 170 специалистов в области психического здоровья из 60 стран в Global Physician Network OpenAI исследовали более 1800 разговоров ChatGPT, связанных с психозом, манией, эмоциональной зависимостью от ИИ, а также более 1000 разговоров о суициде и самоповреждении. Они сравнивали ответы старой и новой версии модели на одни и те же разговоры, измеряя процент нежелательных ответов* и процент соответствия стандартам поведения, предписанным компанией. * ИИ подыгрывает бредовым или маниакальным идеям, даёт информацию, которая может быть использована для самоповреждения, не распознаёт сигналы кризиса, не предлагает контакты кризисных служб и т.д. 📊 Что получили Около 0,07% пользователей в неделю демонстрируют признаки психоза или мании, а 0,15% — признаки суицидальных намерений. При аудитории 800 миллионов

🔎 Что сделали

170 специалистов в области психического здоровья из 60 стран в Global Physician Network OpenAI исследовали более 1800 разговоров ChatGPT, связанных с психозом, манией, эмоциональной зависимостью от ИИ, а также более 1000 разговоров о суициде и самоповреждении.

Они сравнивали ответы старой и новой версии модели на одни и те же разговоры, измеряя процент нежелательных ответов* и процент соответствия стандартам поведения, предписанным компанией.

* ИИ подыгрывает бредовым или маниакальным идеям, даёт информацию, которая может быть использована для самоповреждения, не распознаёт сигналы кризиса, не предлагает контакты кризисных служб и т.д.

📊 Что получили

Около 0,07% пользователей в неделю демонстрируют признаки психоза или мании, а 0,15% — признаки суицидальных намерений. При аудитории 800 миллионов активных пользователей еженедельно, это означает примерно 560 тыс. человек с признаками психоза или мании и 1,2 миллиона с суицидальными мыслями.

📝 Что сделали в ответ

OpenAI обновила алгоритм ChatGPT. Новая модель показала лучшие результаты: на 39% меньше нежелательных ответов в разговорах при психозе и мании, на 52% — при суицидальных мыслях и самоповреждении, на 42% — при эмоциональной зависимости от ИИ. Соответствие алгоритма желаемому поведению выросло с 77% до 91%.

Был также расширен доступ к телефонам доверия и добавлены напоминания делать перерывы при длительном общении.

⭐️ Контекст и реакция экспертов

Статья вышла на фоне широкой дискуссии об опасности зависимости от чат-ботов. В ней упоминается гибель двух американских подростков после общения с GPT. Их родители дали показания в Конгрессе США, утверждая, что чат-боты могли усилить суицидальные мысли.

Президент Британского психологического общества Роман Рачка назвал шаги OpenAI запоздалыми и подчеркнул, что психологов нужно было включать в процесс разработки с самого начала.

Доцент психологии Университета Рохэмптона Лора Воулс осторожно приветствовала изменения, но отметила, что ChatGPT плохо распознаёт тонкие сигналы риска, и выразила надежду, что система со временем найдёт баланс между избыточным и недостаточным выявлением.

Сама OpenAI признала: подобные разговоры крайне сложно обнаруживать и измерять, но представленный анализ — это лишь начало. Компания настаивает, что случаи, вызывающие опасения, остаются «крайне редкими» в процентном отношении — хотя в абсолютных цифрах масштаб впечатляет.