В России предложили эффективный метод для выявления галлюцинаций в больших языковых моделях.
Учёные из Сбера создали подход, который на 30% точнее, чем другие локальные решения, в обнаружении ошибок в ответах LLM, используя при этом минимальное количество обучающих данных. Вместо огромного объёма размеченной информации достаточно всего 250 примеров. Это достигается благодаря метамоделям и продуманной работе с внутренними состояниями искусственного интеллекта.
В основе метода лежат классические алгоритмы машинного обучения и быстрые трансформеры, такие как TabPFNv2. Он отслеживает изменения в нейросети как при корректных ответах, так и в моменты, когда возникает галлюцинация.
Инструмент можно применять как для отладки LLM, так и для снижения риска распространения дезинформации.
Попробуйте метод, перейдя по ссылке.
🤖 Анимация | СhatGPT-4 | Помощь с резюме
