Нейросеть врёт, даже когда у неё есть правильные документы. Как это ловить

# Нейросеть врёт, даже когда у неё есть правильные документы. Как это ловить

Что такое RAG и при чём тут галлюцинации

RAG (Retrieval-Augmented Generation) — популярная архитектура для AI-ассистентов. Принцип простой: сначала находим релевантные документы в базе знаний, потом передаём их нейросети для формирования ответа.

Казалось бы, если модель видит правильные документы — ответ должен быть верным. Но нет. Нейросеть может взять информацию из документа, добавить что-то от себя и выдать это с той же уверенностью. Такие выдуманные факты называют галлюцинациями.

Обычный способ проверки — и его проблемы

До недавнего времени основной способ борьбы — LLM-as-a-judge. Это когда второй вызов к нейросети проверяет первый. Звучит разумно, но есть три проблемы:

- **Медленно.** Каждая проверка — ещё один запрос к API. Плюс 1–5 секунд на каждый ответ. - **Дорого.** Двойная оплата за каждый запрос пользователя. - **Ненадёжно.** Судья — тоже нейросеть. Тоже может ошибиться.

Новый подход: проверка без нейросети-судьи

Появился инструмент LongTracer — бесплатный Python-пакет с открытым кодом. Он проверяет ответы иначе.

Как работает

Ответ нейросети разбивается на отдельные утверждения. Каждое утверждение сравнивается с исходными документами двумя специализированными моделями:

1. **Первая модель** быстро находит самый похожий фрагмент документа для каждого утверждения. 2. **Вторая модель** определяет: утверждение подтверждается документом, противоречит ему или не связано.

На выходе — оценка доверия и список конкретных проблемных мест.

Пример

Нейросеть ответила: «Эйфелева башня высотой 330 метров и находится в Берлине».

Документ гласит: «Эйфелева башня — башня в Париже, Франция. Высота 330 метров».

LongTracer находит: «330 метров» — подтверждается, «Берлин» — противоречит «Парижу». Вердикт: ответ ненадёжен.

Преимущества

- **Работает локально** — не нужен интернет и платные API - **Быстро** — проверка за доли секунды - **Предсказуемо** — один и тот же вход всегда даёт один результат - **Понятно** — видно, какое именно утверждение проблемное и почему

Где это критично

В банках, медицине и юриспруденции галлюцинация нейросети — не просто неудобство. Это потенциальная юридическая ответственность. Регуляторы всё чаще требуют, чтобы AI-системы имели проверяемый аудит — а «мы спросили другую нейросеть» не считается.

Ограничения

Инструмент хорошо ловит фактические ошибки: неправильные имена, даты, числа, места. Но сложные логические несоответствия, требующие цепочки рассуждений, ему пока не по зубам.

Это не замена всей системе контроля качества — скорее быстрый первый фильтр, который отсеивает очевидные проблемы до того, как ответ увидит пользователь.

Итог

LongTracer — пример того, как специализированные маленькие модели решают узкую задачу лучше, чем универсальные большие. Для проверки «сказала ли нейросеть то, что написано в документе» не нужен GPT-4. Нужна пара моделей на 22 миллиона параметров и правильная архитектура.

Проект на GitHub: [ENDEVSOLS/LongTracer](https://github.com/ENDEVSOLS/LongTracer). Лицензия MIT — бесплатно для любого использования.