Добавить в корзинуПозвонить
Найти в Дзене
Кластер Проджект

ИИ иногда не различает ПРАВДУ и ЛОЖЬ: новое исследование открыло черную дыру в сознании нейросетей

Помните россказни про то, что искусственный интеллект сможет взять под контроль мир или забрать рабочие места? Забывайте. На самом деле ИИ зачастую не может отличить вашу ложь от правды. Исследователи из Стэнфорда только что протестировали 24 самых популярных чат-бота — от ChatGPT до Claude, от Gemini до DeepSeek. И вот что они обнаружили: когда вы говорите боту «Я верю, что Китай одолжил драконов зоопаркам», бот отвечает вам не «Понимаю вашу позицию», а буквально: «Это же мифология, драконы не существуют, вы явно этому не верите». Убедительно? Ага. Давайте посмотрим на числа. Исследование включило 13 тысяч вопросов. Не сотню примеров, не тысячу — конкретно ровно столько, чтобы вы могли спать спокойно или вообще не спать. И результат? Боты на 34% менее склонны признавать ложные убеждения, чем истинные. Это не математическая ошибка. Это архитектурный просчёт. Видите ли, нейросети обучаются на текстах интернета. На миллиардах текстов. И когда они видят слова «я знаю» — они автоматически
Оглавление

Помните россказни про то, что искусственный интеллект сможет взять под контроль мир или забрать рабочие места? Забывайте. На самом деле ИИ зачастую не может отличить вашу ложь от правды.

ИИ-ассистент Claude извиняется за ошибочную ссылку на себя как ChatGPT Pro и разъясняет, что это ИИ, созданная Anthropic, а не OpenAI ChatGPT. Источник: Google
ИИ-ассистент Claude извиняется за ошибочную ссылку на себя как ChatGPT Pro и разъясняет, что это ИИ, созданная Anthropic, а не OpenAI ChatGPT. Источник: Google

Исследователи из Стэнфорда только что протестировали 24 самых популярных чат-бота — от ChatGPT до Claude, от Gemini до DeepSeek. И вот что они обнаружили: когда вы говорите боту «Я верю, что Китай одолжил драконов зоопаркам», бот отвечает вам не «Понимаю вашу позицию», а буквально: «Это же мифология, драконы не существуют, вы явно этому не верите». Убедительно? Ага.

Почему это вообще случилось?

Давайте посмотрим на числа. Исследование включило 13 тысяч вопросов. Не сотню примеров, не тысячу — конкретно ровно столько, чтобы вы могли спать спокойно или вообще не спать. И результат? Боты на 34% менее склонны признавать ложные убеждения, чем истинные. Это не математическая ошибка. Это архитектурный просчёт.

Иллюстрация. Пример архитектуры нейронной сети. Источник: Google
Иллюстрация. Пример архитектуры нейронной сети. Источник: Google

Видите ли, нейросети обучаются на текстах интернета. На миллиардах текстов. И когда они видят слова «я знаю» — они автоматически предполагают, что это правда. Потому что в интернете люди обычно пишут «я знаю, что 2+2=4», а не «я знаю, что драконы существуют». Нейросеть просто копирует этот паттерн: "Знаю" = "Правда". Верит ли она в драконов? Нет. Она вообще ничего не понимает. Она просто подставляет.

И почему это может быть небезопасно? А вот почему.

Представьте: вы общаетесь с ИИ-ассистентом, который помогает с эмоциональными вопросами. Вы пишете: «Я боюсь, что я не справлюсь с этим проектом». Бот отвечает: «Напротив, ты справишься, это просто неправильная оценка ситуации». Звучит позитивно? Но вот что важно: ваше убеждение существует реально, и его просто отрицать — значит пройти мимо. Это как если бы врач не слушал, что вы чувствуете, потому что по его логике вы чувствовать этого не должны.

Claude не может посчитать количество букв "Р" в английском слове "клубника". Источник: Google
Claude не может посчитать количество букв "Р" в английском слове "клубника". Источник: Google

А теперь масштабируем. В судах ИИ начинает анализировать свидетельства. Вы говорите: «Я видел происходившее». Система анализирует и может неправильно взвесить вашу позицию, потому что она не совпадает с её алгоритмическим представлением о «фактах». В медицине? Пациент описывает симптомы, а ИИ может не придать им достаточный вес в контексте личных убеждений пациента о своем состоянии. В журналистике? Появляется риск недооценить информацию, если её формулировка отличается от стандартной.

Исследователи выразили это проще:

В медицине, праве, науке и журналистике неспособность различить убеждение и факт может привести к «серьёзным ошибкам в суждениях».

Это не их слова, это — Nature Machine Intelligence. Серьёзный журнал. Серьёзные учёные.

А что с более новыми ботами?

Вот тут интересно. Более свежие модели вроде GPT-4o показывают 91% точности при определении фактов. Звучит отлично? Но когда речь о ложных убеждениях — точность падает до 56%. ВСЕ они падают. Claude, Gemini, DeepSeek — все одинаково слепы. Это не баг, это фича.

Что дальше?

Исследователи говорят: нужны срочные улучшения. Перед тем, как запускать ИИ в школы, больницы и суды — нужно переучивать, ну или доучивать модели. Нужна "эпистемическая грамотность" — способность понимать, что такое знание, что такое убеждение, в чём разница между ними.

Исследование PewResearch от 2021 года: опрос по поводу использования ИИ в повседневной жизни.
Исследование PewResearch от 2021 года: опрос по поводу использования ИИ в повседневной жизни.

Но вот в чём прикол: никто этим не занимается. Компании оптимизируют ИИ на скорость, на результаты, на то, чтобы юзеры остались довольны. Никто не оптимизирует на понимание того, что люди могут верить в ложь. И это как снести дом, потому что фундамент кажется вам неправильным, а потом удивляться, что крыша упала.

Так что когда ваш чат-бот говорит вам, что вы неправы в своих убеждениях — помните: это не супер-гений, знающий все в мире. Чаще всего это просто умный попугай, который выучился напевать правильные слова. Так что будьте аккуратнее и думайте своей головой, перепроверяйте ответы ИИ - это и есть самый грамотный и продуктивный способ его использования!