Представь: ты просишь ChatGPT найти статью по какой-то теме. Он выдаёт название, автора, журнал, год — всё выглядит солидно, не прикопаешься.
Загуглил — и видишь: в тот год такой автор не писал никакой статьи, а журнала с подобным названием в природе не существует. То есть ИИ выдумал всё от начала до конца и даже не мигнул. Типичный пример галлюцинации.
7 особенностей ИИ, вызывающих галлюцинации
1. Модель не думает. Она угадывает
Каждый раз, когда ИИ готовит ответ, он делает одну простую штуку: предсказывает следующее слово. Не думает над ответом целиком, не ищет факты в интернете — просто видит кусок текста, подбирает в своей базе то, что чаще идет за этим куском и выдаёт на-гора угаданный ответ.
Грубый, но понятный пример — автодополнение в телефоне
Когда пишешь СМС-ку и набираешь «иду», телефон подсовывает тебе: «домой», «в магазин», «спать» — и чтобы не набирать по буквам, ты просто кликаешь нужное слово.
Похожим образом действует и нейронка. Она берёт токен и сверяет его с базой, полученной при обучении. Видит, что рядом с этим токеном одни слова/токены встречаются чаще, другие реже. Со словом «иду» система выстраивает вероятность и выбирает наиболее распространённый вариант. В результате ты получаешь «иду домой».
2. ИИ не всегда знает, что он не знает
Разумеется, чат-бот может чего-то не знать. Но даже когда не знает, он обязан дать ответ, который будет похож на правду, но не будет правдой.
3. Частота побеждает точность
Языковые модели обучаются на миллиардах текстов. Ну а в интернете полно заблуждений и откровенных глупостей. И если бред повторялся тысячу раз — машина скорей выберет его, чем достоверный факт, о котором меньше говорят.
Например, ты можешь получить такие ответы:
- Наполеон был маленького роста.
- Мы используем 10% мозга
- «Стекло — это медленно текущая жидкость»
Это всё неправда, но но машину это мало волнует)
То есть нейронку глючит не «потому, что тупая» — она просто выдаёт то, что люди чаще упоминают.
4. ИИ излучает уверенность, это нравится пользователям
Модели заточены под положительную обратную связь. То есть люди обычно ставят высокие оценки уверенным, понятным ответам и в результате робот стремится звучать убедительно.
Вот и выходит: чем увереннее ответ — тем больше вероятность, что он выдуманный и больше поводов его проверить.
5. Первая ошибка тянет за собой следующую
Если чат-бот «свернул не туда» на каком-то ответе, он и дальше будет строить беседу на этой ошибке. Дальше — как снежный ком. И чем объёмней ответ — тем больше вероятность, что глюки будут разрастаться.
6. Сущности смешиваются
Тут вот что: возьмём два реальных человека с похожими биографиями или два препарата с близкими названиями. Может случиться так, что ИИ не будет разбираться в тонкостях, а «склеит» два разных понятия в этакого Франкенштейна, который реален только наполовину.
7. Больше всего галлюцинаций возле даты отсечения
У каждой модели есть дата отсечения, например, у «Клода» — это август 2025 года. Всё, что было после, машина ещё не знает, соответственно, рассказать об этом нечего. Перед границей отсечения данных мало и они противоречивы, поэтому модель ошибается чаще.
Что в итоге:
Галлюцинации — не случайный сбой и не признак сырой технологии. Так устроены языковые модели. Они предсказывают вероятный текст, а не ищут истину.
Чтобы полностью избавиться от этих багов, надо менять принцип работы системы, но тогда потеряется весь смысл ИИ, а чат-боты станут чем-то вроде скучного поисковика.
Пока пользователям остаётся только одно — проверять факты. И в первую очередь там, где ответ звучит особенно уверенно.
Есть ещё несколько практических штук, которые помогут снизить количество глюков. Сюда уже не влезли — дам в следующей статье.