Языковые модели могут стать мощным инструментом для аналитиков, однако у них есть свои недостатки.
Нейронные сети в составе больших языковых моделей (Large Language Models, LLM) более точно предсказывают динамику инфляции в долгосрочной перспективе, чем экономисты. При этом на краткосрочном горизонте прогнозы нейросетей оказались менее точными, выяснили эксперты Федеральной резервной системы США. Об этом пишут «Ведомости» со ссылкой на исследование регулятора «Искусственный интеллект и прогнозирование инфляции».
Эксперты сравнили прогнозы модели PaLM (Google) с ожиданиями экономистов в «Обзоре профессиональных прогнозистов» с 2019 по 2023 годы. Для каждого квартала нейросеть получала только те данные, которые были известны на дату отсечки, то есть информации о будущих событиях у модели не было.
При прогнозировании инфляции у PaLM были гораздо меньшие значения среднеквадратичной ошибки (MSE), чем у прогнозистов ФРС США — 3,02 против 5,70. Нейросеть оказалась менее эффективной для предсказания динамики цен в текущем квартале — показатель ошибки составил 0,39 против 0,29 у экспертов. При этом при прогнозировании результатов для аналогичного квартала следующего года величина MSE у PaLM была 7,87, а у экспертов — 13,79, то есть в полтора раза больше.
Авторы исследования считают, что большие языковые модели могут быть полезны экспертам в качестве мощного и недорогого инструмента для прогнозирования основных макроэкономических показателей. Однако они отмечают непредсказуемость ответов LLM — они могут отличаться при разных формулировках одного и того же запроса. Кроме того, неочевиден алгоритм их работы.
Ранее Сравни выяснил на примере ChatGPT, можно ли использовать искусственный интеллект для финансовых советов.
Читайте также:
Подпишитесь на наш канал, если статья была полезной