Новые модели OpenAI стали умнее, но и фантазируют чаще
OpenAI признала, что их свежие reasoning-модели o3 и o4-mini чаще галлюцинируют — то есть выдумывают факты — по сравнению с предыдущими версиями.
• на 33% — увеличилась частота галлюцинаций у o3 в тестах OpenAI (в 2 раза больше, чем у o1)
• на 48% — у o4-mini
• Причина неизвестна — OpenAI пишет, что "нужно больше исследований"
• Transluce зафиксировала случаи, когда модель выдумывала даже собственные действия
Несмотря на улучшения в кодинге и математике, модели склонны выдавать больше и верных, и неверных утверждений.
“Мы предполагаем, что используемое обучение усилило проблему, которая раньше частично сглаживалась,” — Transluce.
OpenAI обещает продолжить работу над уменьшением ошибок. Вариант решения — подключение веб-поиска, как у GPT-4o.
📂 AI FILES 📂
