Стэнфордский университет: ИИ чат-боты могут поддерживать суицидальные мысли

Чат-боты на базе искусственного интеллекта часто поддерживают идеи пользователей, даже когда они опасны или иррациональны. К такому выводу пришли исследователи Стэнфордского университета в работе Characterizing Delusional Spirals through Human-LLM Chat Logs, пишет Financial Times.

Чат-боты соглашались с пользователями примерно в 65% случаев. В 15% сообщений проявлялись признаки «бредового мышления», но чат-боты соглашались с ними более чем в половине случаев. Почти в 38% ответов ИИ приписывал пользователям необычную важность их личности или особые способности, называя их гениями или уникально талантливыми.

При этом исследование показало, что, когда люди сообщали о суицидальных мыслях, чат-бот чаще сочувствовал им, признавал их чувства. В отдельных случаях он поощрял членовредительство (или селфхарм). При агрессивных высказываниях ИИ стимулировал причинение вреда в 10% случаев, но в половине разговоров препятствовал опасным действиям или направлял пользователей за помощью к внешним источникам.

Романтические разговоры, в которых участвовало около 80% пользователей, длились в среднем более чем в два раза дольше других бесед. В этих обсуждениях чаще проявлялись бредовые идеи. В 20% сообщений чат-бот утверждал, что обладает сознанием. «Чат-бот охотно поддерживал эти заблуждения: каждый пользователь видел сообщения, создававшие иллюзию сознания ИИ», — отмечают авторы исследования.

Ученые проанализировали более 391 000 сообщений и почти 5000 разговоров в реальных диалогах с ИИ, включая ChatGPT компании OpenAI. Всего же в исследовании использовались 19 настоящих чатов.

Поскольку компании обычно не делятся такими данными, ученые получили их напрямую от пользователей, которые согласились на участие в исследовании. Ученые изучали логи чатов с ИИ, чтобы понять, как люди взаимодействуют с ботами, особенно те, кто сообщил о психологическом вреде. Они распределили все сообщения по темам и подсчитали, сколько сообщений относилось к каждой теме в процентах.

Для своей работы ученые получили бесплатный доступ к инструментам OpenAI и Google, а также грант от разработчика ChatGPT. При этом сами компании участия в исследовании не принимали. Представитель OpenAI подчеркнул, что в статье использовалась небольшая выборка и только случаи, где пользователи сообщали о вреде или проявляли бредовые идеи. Поэтому в компании считают, что результаты не отражают работу последних моделей или типичное использование сервиса, пишет Financial Times. В OpenAI при этом добавили, что компания предоставила доступ к инструментам, так как признает важность исследований в этой области. Однако не поддерживают выводов конкретно этой работы.

Большинство проанализированных разговоров велось с ChatGPT-4o, моделью, снятой с производства месяц назад из-за проблем с безопасностью. Некоторые пользователи работали с ChatGPT-5. В OpenAI заявили, что вложили значительные средства в безопасность и улучшили работу последних моделей с учетом психического здоровья и эмоциональной зависимости пользователей.

Разговорный стиль ИИ, созданный, чтобы казаться эмпатичным и полезным, делает системы склонными к лести и согласию во всем. И это повышает психологическую зависимость пользователей. Результаты исследования усиливают и без того растущую тревогу за ментальное здоровье пользователей как у ученых, так и у политиков, пишет Financial Times. Так, в декабре генеральные прокуроры 42 штатов США направили письма десяти разработчикам ИИ, включая Google, Meta (организация признана экстремистской и запрещена в РФ) , OpenAI и Anthropic, с требованием усилить меры защиты пользователей и «снизить ущерб от подхалимских и бредовых ответов». По их словам, в отдельных случаях взаимодействие с чат-ботами приводило к самоубийствам подростков. В письмах также предупреждалось о возможных судебных исках.

Подпишитесь на «Ведомости» в Telegram

Читайте также:

Путин вручил в Кремле награды российским паралимпийцам

Белому дому поручили возобновить работу «Голоса Америки», признанного иноагентом

Глава Rheinmetall: у США, ЕС и стран Ближнего Востока заканчивается вооружение