Если вы хоть раз просили ChatGPT найти источник или проверить факт — вы, скорее всего, уже сталкивались с этим. Модель выдаёт ссылку на несуществующую статью. Называет автора книги, которого нет. Описывает закон, который никогда не принимали. И делает всё это спокойно, уверенно, без единого намёка на сомнение.
Это называется галлюцинация. И это не баг в смысле «что-то сломалось» — это особенность того, как устроены языковые модели.
Как ИИ вообще «думает»
Большие языковые модели не хранят факты как база данных. Они не «знают», что Пушкин родился в 1799 году, в том смысле, в каком это знает Википедия. Они обучены предсказывать следующий токен — то есть следующий кусок текста — на основе огромного массива данных.
Проще говоря: модель научилась очень хорошо угадывать, какое слово идёт за каким. Когда вы спрашиваете про дату рождения Пушкина, она не ищет ответ — она генерирует текст, который статистически похож на правильный ответ.
Большинство времени это работает. Но иногда — нет.
Почему модель не говорит «я не знаю»
Здесь и начинается интересное. Модели в базовом виде не обучены признавать незнание. Они обучены быть полезными и давать связный ответ. Если в обучающих данных не было хорошего ответа на конкретный вопрос — модель не молчит, она достраивает что-то правдоподобное.
Это как человек, который боится выглядеть некомпетентным. Лучше сказать что-нибудь уверенно, чем признать, что не знаешь.
Отдельная проблема — редкие факты. Если какая-то информация встречалась в обучающих данных тысячи раз, модель воспроизведёт её точно. Если несколько раз — велик шанс, что детали поплывут. Если почти не встречалась — модель может просто скомпоновать что-то похожее из смежного контекста.
Что конкретно делать
Несколько вещей, которые реально снижают риск нарваться на галлюцинацию.
Просить ссылки — плохая идея. Модели без доступа к интернету будут их придумывать. Даже с доступом — проверяйте руками.
Спрашивать «откуда ты это знаешь» — иногда помогает. Модель может уточнить, что не уверена, или переформулировать ответ с меньшей уверенностью. Не всегда, но попробовать стоит.
Использовать инструменты с источниками. Perplexity, Bing с поиском, ChatGPT с включённым веб-поиском — они хотя бы показывают, откуда взята информация. Это не гарантия, но фильтр.
Не доверять уверенному тону. Это, пожалуй, самое важное. Уверенность в подаче никак не связана с точностью. Модель одинаково уверенно скажет и правду, и выдуманную дату.
Исчезнут ли галлюцинации
Над этим работают. Модели стали лучше признавать неопределённость, чаще говорят «я могу ошибаться». Но полностью проблема не решена и вряд ли решится в ближайшее время — она слишком глубоко встроена в архитектуру.
Пока что самая рабочая стратегия — относиться к ИИ как к умному, но самоуверенному коллеге. Он может выдать отличную идею или верный факт. Но перепроверять критическое — всегда на вас.