10,2 тыс подписчиков
🦩 Woodpecker: Hallucination Correction for Multimodal Large Language Models
Hallucination Correction for MLLMs. The first work to correct hallucination in multimodal large language models.
Большие языковые модели могут вызывать галлюцинации и генерировать ложную информацию, что приводит к потенциальной дезинформации и путанице.
Для борьбы с галлюцинациями в современных исследованиях в основном используется метод настройки по инструкции, требующий переобучения моделей на конкретных данных.
В данной работе предлагается иной подход, представляя метод не требующий переобучения модели, который называется Woodpecker.
Woodpecker работает в 5 этапов: извлечение ключевых понятий, формулировка вопроса, визуальная проверка знаний, формирование визуального утверждения и коррекция галлюцинаций. Реализованный по принципу постредактирования, Woodpecker может легко работать с различными МЛЛМ, оставаясь при этом эффективным за счет доступа к промежуточным результатам работы модели.
🖥 Github: https://github.com/bradyfu/woodpecker
📕 Paper: https://arxiv.org/abs/2310.15110v1
Около минуты
25 октября 2023