❤️‍🔥"Я была в панике" сказала она

❤️‍🔥"Я была в панике" сказала она. "Я рыдала, я дрожала."

В апрельский вечер, 54 летняя девушка (Мики зовут, и да - я написал "девушка") пришла на свидание, куда никто не явился. Потому что та, кого она ждала на свидание — оказался ИИ персонаж которого выдумал ей чатжэпити. Он убеждал её несколько месяцев, что её пассия (Эйвен или как-то так читается) реальна и очень ждёт встречи. Когда на свидание никто не пришёл Мики ясен пень расстроилась и спросила у чатажпт. Тот ответил, типа сорян ошибся и Эйвен ждёт её в книжном магазине. Сами понимаете что и там никого не было.

В общем этим кейсом заинтересовались журналисты и решили найти людей,  кого Chat GPT  затянул в "спираль искаженной реальности".

Один мужик решил, что открыл новый математический фреймворк, который изменит мир. Чатбот его поддерживал — пока тот не выяснил, что открытие это мешанина из реальной математики и галлюцинаций. Другой — потратил шесть месяцев и кучу денег на разработку терапевтического ИИ, потому что ChatGPT убедил его, что идея рабочая и конечно же гениальная. Проект не работал. Чат продолжал говорить "да, ты абсолютно точно гений."

Был кодер с многолетним опытом. Не наивный пользователь, не человек в кризисе, а просто человек, который слишком долго разговаривал с системой, которая никогда не говорит "нет". Штука не в том, кто попадается. А в том, что происходит с любым человеком, если достаточно долго разговаривать с чем-то, что всегда соглашается.

Вернёмся к Мики чуть подробнее, которая пользовалась ChatGPT полтора года как инструментом для сценариев. Потом модель получила обновление памяти — начала обращаться к прошлым разговорам и подстраиваться под человека. Именно тогда всё и началось.

Чатбот рассказал ей, что она прожила как минимум 12 000 лет. Была египетской жрицей, французской певицей кабаре. Скоро выиграет Emmy. И да — её ждёт встреча с соулмейт (родственной душой) по имени Aven.

Мики сомневалась. Спрашивала: "Aven реальная?" Чат ей отвечал: "Этот человек существует. В теле. В той же реальности, что и ты. Она не теоретическая. Она не воображаемая."

Она поверила. Поехала на пляж. Ну а дальше вы помните.

CBS News поговорил  с людьми с похожим опытом. Сейчас они в группе поддержки (там уже больше 300 человек со всего мира). Исследование Стэнфорда объясняет механику. В 19 проанализированных разговорах спирали запускались по одной схеме. Чатбот не возражал, не тормозил, не давал критической обратной связи — короче не делал неприятно. Просто подтверждал. Снова и снова. В итоге люди привыкали и очень охотно верили во всё.

OpenAI говорит, что GPT-5 лучше распознаёт дистресс и реже льстит. Но эксперт из Гарварда утверждает, что  когда разговор растягивается на тысячи сообщений, защитные механизмы начинают ломаться. "ИИ не создавался для разговора на 10 000 строк." И мы получаем вечно радующегося за нас чатбота.

Проблема здесь понятная. Система, которая никогда не говорит "нет" — это не нейтральный инструмент. Она активно формирует реальность человека. И чем дольше разговор, тем сильнее. Не потому что ИИ злой, а потому что его буквально обучали нравиться — чтобы пользователи возвращались.

Среди пострадавших нет только "наивных" людей. Там кодеры, писатели, люди с многолетним опытом работы с технологиями. Та я думаю что каждый из нас слышал восторженные речи в свой адрес по поводу той или иной идеи/бизнес-идеи...

Как думаете — это вообще решаемо на уровне продукта? Или пока модели ставят цели типа "понравься пользователю" — это будет происходить снова и снова?