💁 Gemini 3 Pro демонстрирует такие же проблемы с галлюцинациями, как и Gemini 2.5 Pro, выяснили специалисты из Artificial Analysis

💁 Gemini 3 Pro демонстрирует такие же проблемы с галлюцинациями, как и Gemini 2.5 Pro, выяснили специалисты из Artificial Analysis.

Они протестировали новую модель с помощью собственного бенчмарка AA-Omniscience Index. В ходе тестирования модели отвечают на 6 тысяч вопросов из различных областей, при этом они должны отвечать только в том случае, если уверены в своем ответе.

Таким образом, в одном тесте можно оценить как общую эрудицию (по количеству правильных ответов), так и склонность к галлюцинациям (когда модель дает ответ, хотя должна была сказать «не знаю»).

Gemini 3 Pro значительно опережает своих конкурентов по количеству правильных ответов, но в 88% случаев, когда она ошибается, выдает «галлюцинации», вместо того чтобы промолчать.

Наименьшую склонность к галлюцинациям демонстрирует Claude Haiku 4.5 — эта модель «выдумывает» ответы лишь в 26% случаев.

NeuroFlux

#Gemini3Pro #ArtificialAnalysis #галлюцинации #искусственныйинтеллект #тестирование #модели #ClaudeHaiku #эрудиция #AI #технологии