111 подписчиков
Сегодня статья, посвящённая точности геополитических прогнозов
153 участника, 10 вопросов с ответом да/нет от "кто победит на выборах: Байден или Трамп" (речь идёт о выборах 2020 года) до "запустит ли КНДР межконтинентальную баллистическую ракету в [заданный промежуток времени]"
На каждый вопрос участники должны были дать ответ в виде вероятности наступления события с текстовым обоснованием, списком показателей, на которые смотрит эксперт, оценкой своей экспертности в этой области и т.д.
Всего - 11 разных показателей
Из всего этого изобилия авторы статьи формируют ряд показателей и обучают модель для предсказания точности отдельных прогнозов (прогнозирование точности прогнозов звучит конечно прекрасно!)
И эта модель оказывается очень точной
Достигнутая точность на тестовых данных: ROC AUC = 0.85, если тестовые данные - это новые эксперты; и ROC AUC = 0.96, когда в качестве тестовых данные берутся новые прогнозы тех же экспертов, которые модель видела при обучении
Собственно модель тут - логистическая регрессия с регуляризацией, всё очень просто и интерпретируемо
Точнее оказываются те эксперты, которые более уверены в своих прогнозах, верят, что их прогнозы будут близки к среднему прогнозу других экспертов, у которых в обоснованиях больше слов, ориентированных на время, и меньше - на прошлое, настоящее и связанных с определённостью
Показатели про слова получены на основе Linguistic Inquiry and Word Count dictionary, интересующиеся могут там подробнее посмотреть, что входит в каждый из этих списков
Зная точность отдельных экспертов, можно более корректно агрегировать их прогнозы в одну цифру
И она будет статистически значимо, чем отдельные прогнозы
1 минута
21 июля 2024