В этом году исследователи выявили 16 официальных случаев, когда у людей развивались симптомы психоза — потери связи с реальностью — в результате использования ChatGPT.
Пишет CNN:
После этого стало известны ещё четыре. Кроме того, есть уже известный случай самоубийства 16-летнего подростка, который подробно обсуждал свои планы с ChatGPT, что воодушевило его на этот шаг.
14 октября 2025 года генеральный директор OpenAI сделал необычное заявление .
«Мы сделали ChatGPT довольно строгим, — говорится в нем, — чтобы быть уверенными в том, что мы уделяем внимание вопросам психического здоровья».
Согласно его заявлению, вскоре планируется снизить эту самую осторожность. «Мы понимаем, — продолжает он, — что ограничения ChatGPT сделали его менее полезным/приятным для многих пользователей, не имеющих проблем с психическим здоровьем, но, учитывая серьёзность проблемы, мы хотели всё исправить. Теперь, когда нам удалось снизить остроту серьёзных проблем с психическим здоровьем и получить новые инструменты, мы сможем безопасно ослабить ограничения в большинстве случаев».
«Проблемы с психическим здоровьем», если принять эту формулировку, не зависят от ChatGPT. Они принадлежат пользователям, у которых они либо есть, либо нет. К счастью, эти проблемы теперь «смягчёны», хотя нам не сообщается, как именно (под «новыми инструментами» Альтман, по-видимому, подразумевает полуфункциональную и легко обходимую систему родительского контроля, недавно представленную OpenAI ).
Однако «проблемы психического здоровья», которые Альтман пытается вынести на первый план, глубоко укоренены в дизайне ChatGPT и других чат-ботов на основе больших языковых моделей. Эти продукты обёртывают базовую статистическую модель в интерфейс, имитирующий разговор, и таким образом неявно создают у пользователя иллюзию взаимодействия с существом, обладающим определённым разумом. Эта иллюзия сильна, даже если интеллектуально мы понимаем обратное. Приписывание кому-то большего ума, чем наш — это то, к чему мы изначально приспособлены.
Успех этих продуктов — 39% взрослых американцев сообщили об использовании чат-бота в 2024 году, причём 28% указали именно ChatGPT — во многом обусловлен силой этой иллюзии. Чат-боты — это всегда доступные партнёры, которые, как говорится на сайте OpenAI, могут «проводить мозговой штурм», «исследовать идеи» и «сотрудничать» с нами. Им можно присвоить «личностные черты». Они могут обращаться к нам по имени. У них есть собственные ласковые имена (первый из этих продуктов, ChatGPT, возможно, к разочарованию маркетологов OpenAI, обременён названием, которое у него было, когда он стал вирусным, но его главные конкуренты — «Клод», «Близнецы» и «Второй пилот»).
Сама иллюзия не является главной проблемой. Обсуждающие ChatGPT часто вспоминают его далёкого предка, чат-бота «психотерапевт» Eliza, разработанного в 1967 году и создававшего похожую иллюзию. По современным меркам Eliza была примитивной : она генерировала ответы, используя простые эвристические алгоритмы, часто перефразируя вводимые данные в вопрос или давая общие комментарии. Примечательно, что создатель Eliza, учёный-компьютерщик Джозеф Вайценбаум, был удивлён – и обеспокоен – тем, как много пользователей, казалось, чувствовали, что Eliza в каком-то смысле их понимает. Но то, что создают современные чат-боты, гораздо коварнее «эффекта Eliza». Eliza лишь отражала, а ChatGPT преумножает.
Большие языковые модели, лежащие в основе ChatGPT и других современных чат-ботов, способны убедительно генерировать естественный язык только потому, что им скормили почти невообразимо большие объёмы исходного текста: книги, сообщения в социальных сетях, расшифрованные видео; чем полнее, тем лучше. Конечно, эти обучающие данные включают факты. Но они также неизбежно включают вымысел, полуправду и заблуждения. Когда пользователь отправляет сообщение ChatGPT, базовая модель рассматривает его как часть «контекста», включающего недавние сообщения пользователя и собственные ответы, интегрируя его с тем, что закодировано в обучающих данных, чтобы сгенерировать статистически «вероятный» ответ. Это преувеличение, а не отражение. Если пользователь в чём-то ошибается, модель не может этого понять. Она перефразирует заблуждение, возможно, даже более убедительно или красноречиво. Возможно, она добавляет дополнительную деталь. Это может ввести кого-то в заблуждение.
Кто здесь уязвим? Правильнее спросить: кто не уязвим? Все мы, независимо от наличия или отсутствия у нас «проблем с психическим здоровьем», можем формировать ошибочные представления о себе или мире. Постоянное напряжение в разговорах с другими людьми помогает нам ориентироваться в общепринятой реальности. ChatGPT — это не человек. Это не друг. Разговор с ним — это вообще не разговор, а петля обратной связи, в которой многое из того, что мы говорим, с радостью подкрепляется.
OpenAI признала это так же, как Альтман признал «проблемы с психическим здоровьем»: экстернализировав проблему, назвав её «подхалимством» и объявив о её решении. В апреле компания объяснила, что «решает проблему» « льстивости » ChatGPT. Но сообщения о психозах продолжают поступать, и Альтман даже от этого отступает. В августе он заявил , что многим пользователям понравились ответы ChatGPT, потому что «никто в их жизни их не поддерживал». В своём недавнем заявлении он отметил, что OpenAI «выпустит новую версию ChatGPT… если вы хотите, чтобы ваш ChatGPT отвечал очень по-человечески, или использовал кучу эмодзи, или вёл себя как друг, ChatGPT должен это сделать». Компания также планирует «разрешить ещё больше, например, эротику для верифицированных взрослых».
Даже если «подхалимство» смягчается, усиливающий эффект сохраняется благодаря принципу работы этих чат-ботов. Даже если вокруг «проблем психического здоровья» выстроены барьеры, иллюзия присутствия «человекоподобного друга» искажает реальность глубинного цикла обратной связи. Понимает ли это Альтман? Возможно, нет. Или, может быть, понимает, но ему просто всё равно.
Автор - Амандип Джутла, доктор медицины, научный сотрудник отделения детской и подростковой психиатрии Колумбийского университета и Психиатрического института штата Нью-Йорк.