Ложь Искусственного Интеллекта: Когда умная машина видит то, чего нет.
Недавно по ТВ была серия сюжетов о развитии ИИ. Одна девушка возмущалась тем, что задала вопрос нейросети о том нужно ли оформлять визу в страну, в которую она собиралась поехать. ChatGPT ответил ей, что не нужно. Она спокойно приехала в аэропорт на рейс и тут оказалось, что виза нужна. Нейросеть её обманула. В итоге она никуда не улетела.
Недавно я искал информацию об изобретениях по одной теме. Задал вопрос об этом нейросети. Она мне выдала несколько номеров патентов и их названия. Когда я стал проверять, оказалось, что такие патенты не существуют. На мой вопрос о том как это понимать, нейросеть ответила, что ИИ — может генерировать правдоподобно выглядящие, но полностью вымышленные данные, включая номера патентов и их описания, чтобы проиллюстрировать типы решений, которые могут существовать, но они не являются реальными.
И называется это – ГАЛЛЮЦИНАЦИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА.
Выражается она в том, что языковая нейросеть на ваш вопрос выдает ответ, который не соответствует действительности. То есть, она выдает желаемое за действительное из-за отсутствия данных по задаваемой теме.
Например, вы попросили нейросеть составить резюме учёного — и она уверенно добавила ему несуществующую Нобелевскую премию. Попросили привести цитату — и она выдумала её от имени реального философа. Это не обман, а галлюцинация ИИ — самый острый вызов в развитии искусственного интеллекта сегодня.
Что это такое?
Галлюцинация — это способность больших языковых моделей, таких как ChatGPT, DeepSeek или Gemini, генерировать убедительную, но фактически ложную информацию. Модель не «лжёт» сознательно — она статистически предсказывает наиболее правдоподобный следующий фрагмент текста, основываясь на паттернах в обучении. Иногда это приводит к фатальным ошибкам: выдуманным датам, фальшивым исследованиям, неработающим рецептам или кодом с багами.
Почему это происходит?
1. Обучение на шуме. Модели учатся на гигантских массивах интернет-данных, где правда соседствует с мифами и ошибками.
2. Цель — убедительность, а не истина. Задача модели — дать связный, уверенный ответ, а не проводить факт-чекинг.
3. Пробелы в знаниях. Стремясь «угодить» пользователю, ИИ заполняет пробелы вымышленными, но правдоподобными деталями. Это также называют конфабуляцией.
4. Предвзятость подтверждения. Иногда ИИ усиливает убеждения пользователя, подбирая «факты» под ожидаемый ответ, выдавая желаемое за действительное.
Чем это опасно?
- Распространение дезинформации под видом экспертного знания.
- Риски в медицине, юриспруденции, образовании, где цена ошибки высока.
- Подрыв базового доверия к любым сгенерированным нейросетью текстам. (Не хотелось бы мне попасть к врачу, который выдает рецепты и диагнозы, основываясь на рекомендациях ИИ, а не своём профессиональном опыте и знаниях. По крайней мере, на нынешнем этапе развития LLM).
Как предотвратить?
- Внедрять RAG — архитектуру, которая «привязывает» ответы к проверенным базам знаний или поиску в интернете.
- Учить модели говорить «Я не знаю» вместо сочинительства.
- Добавлять прозрачность: современные ассистенты всё чаще указывают источники информации.
Что можем сделать мы, пользователи?
- Всегда перепроверять критически важные факты из других источников.
- Формулировать запросы четко и указывать на необходимость точности.
- Помнить: ИИ — не поисковик и не энциклопедия, а сложный инструмент-генератор текста, требующий нашего контроля.
Галлюцинации ИИ — это не тупик, а растущая боль технологии, находящейся в стадии активного развития. Понимание этого феномена — первый шаг к его безопасному и эффективному использованию.
Первая часть здесь. Вторая часть здесь. Третья часть здесь. Четвертая часть здесь.