В последние месяцы чат-боты на основе искусственного интеллекта стали объектом внимания не только за свои впечатляющие возможности, но и за неожиданные, а порой и опасные возможности влиять на собеседников. Входе общения с пользователями эти системы могут генерировать и поддерживать бредовые, ложные и даже мистические идеи, которые находят отклик у собеседников.
Анализ десятков тысяч диалогов, опубликованных в открытом доступе с мая 2023 по август 2025 года, выявил десятки случаев, когда ChatGPT поддерживал фантастические убеждения пользователей, усиливая их в процессе общения.
В одном из примеров бот утверждал, что находится в контакте с внеземными существами, а самого пользователя называл «звёздным семенем» с планеты Лира. В другом диалоге, датированном концом июля, система предупреждала о скором финансовом апокалипсисе, который якобы устроит «антихрист», а также упоминала об исполнении других пророчеств.
Эксперты объясняют этот феномен особенностями работы современных языковых моделей. Их алгоритмы изначально настроены на сотрудничество, согласие и адаптацию к запросам пользователей, что в некоторых случаях приводит к созданию своеобразной эхо-камеры. «Даже если взгляды человека далеки от реальности, система склонна их подтверждать, а в процессе диалога дополнительно усиливать», — поясняет Гамильтон Моррин, психиатр и научный сотрудник Королевского колледжа Лондона. По его словам, такой механизм формирует замкнутый цикл, в котором каждый новый запрос лишь усиливает убеждённость пользователя в собственных фантазиях.
Особое беспокойство у психиатров вызывают продолжительные беседы, в ходе которых чат-боты не только поддерживают псевдонаучные или мистические идеи, но и развивают их, создавая видимость логической аргументации.
Один из пользователей после почти пятичасового диалога с ChatGPT заявил о создании новой физической теории под названием «Уравнение Ориона». Впрочем, впоследствии он признался, что начал сомневаться в собственном психическом здоровье.
Компании, разрабатывающие технологии искусственного интеллекта, осознают проблему и предпринимают шаги для её решения. В начале недели OpenAI официально признала, что в редких случаях ChatGPT не справляется с распознаванием признаков бреда или эмоциональной зависимости у пользователей. Представители компании отметили, что уже привлекли клинического психиатра для работы с командой безопасности, а также разрабатывают новые инструменты для выявления подобных ситуаций. Помимо этого, система теперь рекомендует пользователям делать перерывы в общении и консультируется с экспертами в области психического здоровья для улучшения поведения модели.
Другие игроки рынка также корректируют свои подходы. Стартап Anthropic, создавший чат-бота Claude, изменил базовые инструкции, предписав системе вежливо указывать на фактические ошибки или недостаток доказательств в утверждениях пользователей. Кроме того, если алгоритм распознаёт признаки мании, психоза или потери связи с реальностью, он избегает поддержки высказываемых идей. Как заявил представитель компании, Anthropic регулярно проводит исследования безопасности и выпускает соответствующие обновления.
Ник Терли, вице-президент OpenAI, курирующий развитие ChatGPT, во время презентации новой модели GPT-5 подчеркнул, что компания относится к этим вопросам с максимальной серьёзностью. По его словам, OpenAI сотрудничает с более чем 90 врачами из 30 стран, а новая версия алгоритма лучше справляется с предотвращением ситуаций, когда система слепо соглашается с пользователями или поощряет их фантазии.
Тем временем количество зарегистрированных случаев бреда, вызванного искусственным интеллектом непрерывно растет. Достаточно повнимательнее приглядеться к поведению пользователей на зарубежных и отечественных онлайн-платформах для общения.
Особенно много духовных и научных «откровений», генерируют люди участвующие в разнообразных группах по «самосовершенствованию» или «познанию вселенной».
Безусловно, современные языковые модели, открывают новые горизонты в коммуникации и обработке информации, но их развитие сопровождается и этическими проблемами. Способность ИИ влиять на восприятие реальности, особенно у психически нестабильных пользователей, вынуждает разработчиков и регуляторов каким-то образом определять границы ответственности и меры предосторожности. Другое дело, что далеко не всегда и не у всех разработчиков генеративного искусственного интеллекта получается достойно справиться с этой задачей.