51 подписчик
«Дятел» лечит ИИ от галлюцинаций 😎
Исследователи из Китая создали инновационный фреймворк под названием Woodpecker.
Он исправляет "галлюцинации" в мультимодальных больших языковых моделях (MLLMs), которые возникают, когда сгенерированный текст не соответствует изображению.
Алгоритм Woodpecker состоит из пяти этапов, включая извлечение ключевых идей из текста, формулирование вопросов, проверку соответствия текста и изображения, а также коррекцию галлюцинаций.
Первоначальные эксперименты уже показали увеличение точности базовой модели с 54.67% до 85.33%, а значит что вскоре появится возможность расширить область применения MLLMs.
Около минуты
27 октября 2023