Как заставить AI отвечать за слова

Как заставить AI отвечать за слова

На эфире в клубе MFS обсудили одну из главных болей при разработке AI-продуктов — галлюцинации моделей. Особенно это критично, если вы пилите B2B-решение, например, автоматизируете сбор тендерной документации. Выдуманная цифра или несуществующий пункт требований в готовом КП может стоить клиенту контракта.

Архитектура нейросетей устроена так, что в ней нет встроенного стоп-крана: ничто не мешает модели выдумать страницу, которой не существует, или вставить цитату из какой-то параллельной вселенной. На научном языке борьба с этим называется grounding («приземление» на факты).

Вот как можно реализовать надежную защиту дешево и сердито, чтобы закрыть примерно 90% проблем с галлюцинациями:

1. Требовать пруфы.

Просим модель для самых критичных полей (например, цен или жестких требований) указывать точный источник: из какого документа и с какой страницы она взяла эти данные. Пусть обязательно покажет примерную цитату исходника.

2. Подключить простой алгоритмический поиск.

Сама по себе просьба дать ссылку не спасет на 100%, потому что AI может легко выдумать и саму ссылку. Поэтому берём старый добрый fuzzy search (поиск по тексту) и алгоритмически пробиваем по кэшированному документу: есть ли такой кусок текста на указанной странице. Если текст там и он похож на то, что выдала модель — супер.

3. Делегировать перепроверку дешевым моделям.

Если алгоритм сомневается или вам нужна железобетонная уверенность, натравливаем на этот конкретный кусок текста дешевую и быструю модель. Отдаем ей всего один исходный абзац и задаем вопрос: «здесь это написано или нет?». Это копеечный запрос, за который не придется платить как за тяжелые модели вроде Opus или Sonnet, но он отлично страхует результат.

Внедрить такую связку можно буквально за пару дней, а спасёт она от самого страшного на старте — потери доверия первых платящих клиентов. Достаточно собрать умный пайплайн, где дешевые алгоритмы бьют по рукам зарвавшийся AI.

А как вы боретесь с галлюцинациями в своих AI-продуктах? Поделитесь самыми рабочими костылями и изящными решениями

Андрей Резинкин | Money For Startup