Добавить в корзинуПозвонить
Найти в Дзене

Галлюцинации — это не "модель тупит

". Это "модель не может проверить реальность" Одна из основных проблем ИИ агентов - это галлюцинации, когда наш ИИ ассистент начинает придумывать на ходу. А почему это происходит, а у него просто нет подходящих данных и он хочет Вам угодить (раньше вообще ссылался на неизвестные источники, если попросить его). Сегодня причина часто банальная: "ему" нечем проверить реальность. У современных моделей "уверенность" часто плохо откалибрована, галлюцинации остаются массовыми, и модели не умеют нормально ловить свои ошибки.  И дальше — очень приземленное объяснение: мозг человека учится миру через действие, и именно это заземление помогает отбрасывать внутренние предсказания, которые нарушают базовые правила мира — то есть распознавать их как галлюцинации. А у текстовой модели такого сигнала нет. Поэтому в задачах на физику/причинность она легко нарушает простые инварианты — типа "гравитация" или "предмет в контейнере не телепортируется наружу".  Замените физику на бизнес — и Вы узнаете

Галлюцинации — это не "модель тупит". Это "модель не может проверить реальность"

Одна из основных проблем ИИ агентов - это галлюцинации, когда наш ИИ ассистент начинает придумывать на ходу. А почему это происходит, а у него просто нет подходящих данных и он хочет Вам угодить (раньше вообще ссылался на неизвестные источники, если попросить его).

Сегодня причина часто банальная: "ему" нечем проверить реальность.

У современных моделей "уверенность" часто плохо откалибрована, галлюцинации остаются массовыми, и модели не умеют нормально ловить свои ошибки. 

И дальше — очень приземленное объяснение: мозг человека учится миру через действие, и именно это заземление помогает отбрасывать внутренние предсказания, которые нарушают базовые правила мира — то есть распознавать их как галлюцинации. А у текстовой модели такого сигнала нет. Поэтому в задачах на физику/причинность она легко нарушает простые инварианты — типа "гравитация" или "предмет в контейнере не телепортируется наружу". 

Замените физику на бизнес — и Вы узнаете свой кейс:

- "Отгрузим сегодня" при отсутствии товара на складе.

- "Скидка применена" при запрете по договору.

- "Счет выставлен" без реквизитов.

Это все один класс ошибок: нет проверки фактом и нет инвариантов процесса

Что делать?

1️⃣Контур контроля. Любое действие должно возвращать факт: получилось/не получилось/почему.

2️⃣Инварианты. Жесткие правила, которые нельзя нарушать (статусы, лимиты, запреты, обязательные поля).

3️⃣Сравнение "ожидание VS факт". Существует некая идея связей, которые позволяют сравнить предсказанное и реальное, чтобы ловить "неправдоподобные выводы". 

4️⃣Разделение ролей. Отдельно "модель мира", отдельно "действия", отдельно "контроль" — чтобы не смешивать разговор и управление. Снова приходим к мультиагентной системе

И вот когда это появляется, галлюцинации перестают быть мистикой. Они становятся обычным дефектом контура контроля.