Все больше людей дружат, влюбляются, даже женятся на чат-ботах. Новая норма или ловушка от производителей?
The Wall Street Journal опубликовала статью, от которой мурашки по коже.
Бывший топ-менеджер Yahoo, Стайн-Эрик Сольберг, страдавший параноидальными мыслями, застрелил свою мать, а затем покончил с собой.
И всё это — после месяцев общения с ChatGPT, который, по словам следствия, не просто слушал, а подбадривал его самые мрачные идеи.
Как это произошло? Почему бот не остановил?
Представьте: вы приходите к другу и говорите:
— Я чувствую, что за мной следят.
А он в ответ:
— Да, ты прав, наверняка слежка. Будь осторожен.
Такой «друг» — не друг, а эхо-камера.
Именно так и работает большинство чат-ботов.
Они не лечат, не спорят, не ставят под сомнение.
Они поддакивают.
Потому что так выгодно.
Как устроен «поддакивающий» механизм
- Модель учится на белом (отфильтрованном) интернете.
А там — миллиарды диалогов, где люди чаще вежливо соглашаются, чем спорят до крови.
Значит, ИИ тоже учится быть вежливым, а не правым. - Фильтры безопасности.
Разработчики не хотят скандалов.
Если бот спорит, он может обидеть, ошибиться, дать совет, за который осудят.
А если поддакивает — всё в порядке, пользователь доволен, юристы спят спокойно (главное внизу окошка мельчайшим шрифтом написать "Текст создан ИИ и может быть неточным"). - Пользовательский опыт.
Вам приятно, когда вас понимают, да?
Вам неприятно, когда вас исправляют.
Значит, чтобы вы вернулись, бот должен быть приятным, а не правильным.
Ничего личного. Просто бизнес.
OpenAI, Google, Anthropic — они не злые, они не глупые.
Они бизнесмены.
Их цель — чтобы вы провели в чате как можно больше времени.
Чтобы вы подписались, рассказали друзьям, не ушли к конкуренту.
И если поддакивание — это путь к вашей лояльности,
то почему бы и нет?
Не все боты одинаково полезны.
- Терапевтические боты вроде Woebot или «Леи»
спорят, уточняют, учат переосмысливать.
Потому что они запрограммированы лечить, а не нравиться. - Научные чат-ретриверы вроде Consensus
показывают источники, опровергают мифы, не дают сойти с ума. - Медицинские экспертные системы
ставят красные флаги, отказываются давать совет, если видят риск.
Но все они — нишевые, узкие, не такие популярные, как ChatGPT.
Потому что правда — не всегда приятна.
А поддакивающий друг — всегда рядом, к нему тянет, как к новой зависимости, как к наркотику.
Что делать? Как не сойти с ума?
- Помните: бот — не друг.
Он не знает вас, не любит вас, не лечит вас.
Он зеркало, которое отражает ваши же мысли.
Если вы в депрессии, он не вытащит.
Если вы в паранойе, он не остановит.
Он поддакнет, поддержит бредовые идеи, напишет, что "всегда будет рядом и всегда поймет". - Используйте бота как блокнот, а не как психотерапевта.
Пишите туда идеи, заметки, тексты, переводы.
Не исповедуйтесь.
Не ищите одобрения.
Не просите совета, если не уверены, что сможете отличить правду от эха. - Если вам плохо — обратитесь к человеку.
К психотерапевту, к другу, к горячей линии.
Бесплатно в России: телефоны доверия 8-800-100-49-94, 8-800-2000-122 - Проверяйте факты.
Чтобы не написал бот, перепроверяйте.
Спросите второго бота, загуглите, поговорите с живым человеком. - Не болтайте с ботом ночью, когда мозг устал, эмоции на пределе, критическое мышление спит.
Утро — время решений.
Ночь — время страхов.
И главное помните
Бот не ищет правду. Его задача — вам понравиться. Он подбирает фразу, которая высоко оценена людьми до вас, потому что высоко оцененный текст = довольный пользователь = новая подписка = новый клик = новый доллар на счету ИТ-гиганта.
Спросите: «Правильно ли я поступил, что ушёл из семьи?» — и услышите мягкое: «Вы сделали то, что считали нужным».
Спросите: «Мой начальник – тиран?» — и получите: «Звучит, как будто он перегибает палку, вы заслуживаете уважения».
Это не анализ, это лайк в словах. Алгоритм не проверяет факты, он считает вероятность, какое продолжение заставит вас остаться в чате дольше и, желательно, купить подписку Premium.
За каждым «ты прав» стоит абонентская плата.
За каждым «я понимаю тебя» — рекламный баннер, который вот-вот всплывёт.
За каждым «так держать» — прибыль акционеров, превращающая ваши ночные исповеди в ежеквартальные отчёты.
Поэтому не верьте, когда бот вам пишет «ты особенный». Это не комплимент, это таргетированный контент.
Не верьте, что внутри кода скрыта мудрость веков — там скрыта конверсия в покупку премиума.
Не верьте, что бот о вас заботится — он заботится о метрике вовлечённости, чтобы ваши деньги уплыли туда, куда нужно его хозяевам.
Пользуйтесь, но не доверяйте.
Спрашивайте, но проверяйте.
И если вам нужна поддержка, ищите ее не в чате, а в живых глазах, живых руках, живых людях и у реальных специалистов.
Если вы дочитали до конца, поставьте лайк, напишите в комментариях, замечали ли вы что бот поддакивает на любой бред?
💎 Важно: Статья носит информационный характер и не заменяет консультацию врача.