Разработчики бенчмарка FinSearchComp опубликовали результаты тестирования актуальных нейросетей на знание финансовой аналитики. Как оказалось, представителям одноимённой профессии можно не опасаться потери работы из-за ИИ — во всяком случае, пока что.
Тест включал 635 вопросов, разбитых на два набора (для глобального и китайского рынков) и три категории:
- T1 — «горячие» (о событиях, произошедших на днях, вроде закрытия определённой компании).
- T2 — точные исторические цифры (например, «активы Starbucks по состоянию на 27.09.2020»).
- Т3 — вопросы-«расследования» (например, «в какой месяц с 2010 по 2025 рост индекса S&P 500 был наиболее выраженным?»).
Согласно статистике, профессиональные финансовые аналитики в глобальном наборе верно отвечают в среднем в 70% случаев, в китайском же точность составляет около 88,3%. При этом наибольшую точность они демонстрируют в знании фактов, а наименьшую — в «расследованиях».
Ближе всего к реальным финансовым аналитикам в глобальном наборе оказались нейросети Grok 4 (в среднем 68,9% точных ответов) и GPT-5-Thinking (63,9%). В китайском же лидером стала модель DouBao (web) со средним результатом 54,2%. Наибольшие сложности у нейросетей также вызвали «расследования».
По мнению авторов бенчмарка, главной сложностью для ИИ стала выборка данных из интернет-источников и несовершенство «рассуждающих» алгоритмов. В этом отношении людей-аналитиков им не заменить — по крайней мере, в ближайшем будущем.