😍 Почему ИИ галлюцинирует?
И уверенно врет, даже когда не хочет?
Разбираемся почему галлюцинации в больших языковых моделях (LLM) часть их природы. И как исследователи пытаются приручить этот хаос ⤵️
В 1931 году австрийский математик Курт Гёдель доказал, что любая логичная система будет содержать утверждения, которые невозможно доказать.
Переводя на человеческий: любая умная система когда-нибудь начнёт глючить.
🧩 Всё начинается с данных
ИИ учится на миллиардах текстов. Проверить всё это физически невозможно. Если в данных есть ложь, модель её запомнит и воспроизведёт.
Чтобы отлавливать такие «воспоминания», команды создают детекторы галлюцинаций.
Например, Luna от Galileo Technologies — промышленный фильтр для LLM.
🧠 Работа с фактами
Иногда ИИ путает смысл. Чтобы вылечить такие семантические сбои, разработчик Майкл Келвин Вуд придумал метод Fully-Formatted Facts — когда каждое утверждение превращается в простое, законченное и недвусмысленное предложение. По сути это кэпство.
🪧 Конфабуляции и статистика
Галлюцинация, когда модель даёт разные ответы на один и тот же вопрос.
Исследователи из Оксфорда и Института Алана Тьюринга научили модель измерять неуверенность в своих ответах. Если ИИ «сомневается», он просто предупреждает пользователя 😶
🚀 Что дальше
Гёдель бы сказал: «Никакая система не будет полной». ИИ можно улучшать, но полностью исключить галлюцинации нельзя — это часть самой структуры мышления модели.
Что вас больше раздражает в нейросетях?
❤️ — Когда уверенно несут чушь
👍 — Когда слишком извиняются
