Найти в Дзене
1 подписчик

18 нейросетей проверили на 121 финансовом вопросе. Каждый задавали по пять раз — больше 10 тысяч ответов. 57% оказались неверными.


На сложных задачах — 88% ошибок. Худшие модели ошибаются в 99% случаев. Лучшая — Claude Opus 5 в режиме рассуждений — ошибается в 39%. Тридцать девять процентов. Это лучший результат.

Одна ошибка Claude Haiku обошлась бы пользователю в 17 500 фунтов штрафу — модель придумала налоговое правило, которого не существует. Gemini заявила, что кредитные каникулы не влияют на кредитный рейтинг. Влияют.

А вы уже спрашивали нейросеть про налоги или кредит?
18 нейросетей проверили на 121 финансовом вопросе. Каждый задавали по пять раз — больше 10 тысяч ответов. 57% оказались неверными.  На сложных задачах — 88% ошибок.
Около минуты