Всем привет.
В эфире рубрика очевидное-невероятное, сегодня мы пойдем по стопам Николаса Талеба и попробуем разобраться, что за революцию он предлагает устроить и почему мы должны отказаться от расчета СКО?
Вы когда-нибудь задумывались на тему того, а почему статисты для расчета среднего отклонения используют среднеквадратическое? Зачем нужна вся эта байда, когда сначала возводят в квадрат, а затем извлекают корень?
Ведь можно поступить иначе и не возводить в квадрат с извлечением корня, а тупо подсчитать среднее по модулю, которое Талеб называет MAD:
Возьмем для примера, кто-то нас попросил оценить среднюю температуру за последние 5 дней. Данные об отклонениях за эти 5 дней такие:
(-23, 7, -3, 20, -1)
Как нам оценить среднее отклонение?
Если подсчитаем СКО по 1-ой формуле, получится 14,1, а если подсчитаем среднее абсолютное отклонение по 2-ой формуле, получится 10,8. Ну и какое значение правильное?
Для ответа на этот вопрос необходимо сравнить поведение двух взвешивающих функций. Оно расходится при больших значениях случайной величины х, показывая, почему при жирном хвосте СКО расходится со средним абсолютным отклонением:
Дэн Голдстайн и Насим Талеб ставили такой вопрос перед профессиональными инвесторами и студентами выпускных курсов по финансовому инжинирингу - т.е. людьми, которые постоянно работают с рисками и отклонениями:
Акция (или фонд) имеет среднюю доходность 0%. Она изменяется в абсолютном выражении в среднем на 1% за день; рост в среднем составляет 1%, падение в среднем составляет 1%. Это не значит, что рост всегда 1%, в некоторые дни он составляет 0,6%, в другие дни 1,45% и т.д и т.п.
Допустим, что мы живем в гауссовом мире, где доходность (или процент изменения за день) надежно моделируется нормальным распределением. Допустим, что в году 256 рабочих дней.
Каково СКО доходности (т.е. процента изменения), характеризующий волатильность в финансовых прикладных программах?
Как может заметить пронырливый читатель, в условии задачи было описано среднее абсолютное отклонение, а найти требовалось СКО. Ответы на задачу в подавляющем большинстве были ошибочными. Почти все указали отклонение за день 1%. На самом деле гауссова переменная величина, которая за день изменяется в абсолютном выражении на 1%, имеет СКО выше процента, около 1,25%. В выборочных распределениях должно быть ещё больше, до 1,7%. Про отклонение за год больше всего ответов было 16% или около того, что составляет около 80% от правильного ответа.
Профессиональные инвесторы для перехода от волатильности за день к волатильности за год умножали на корень(256) и это дало бы правильный результат, если бы применялось к правильной оценке волатильности за день.
Итак, испытуемые были склонны сообщать MAD, когда их спрашивали о СКО. Когда профессионалы финансовых рынков, постоянно слышащие, как обсуждают волатильность, говорят о "стандартном отклонении", они имеют ввиду не СКО, а среднее абсолютное, из-за чего недооценивают отклонения на 20-40%; для некоторых рынков недооценка может доходить до 90%. И когда им указывали на ошибку, мало кто из них понимал, что ошибся. При всем при том на просьбу выписать формулу СКО они успешно рисовали квадратный корень из среднего квадрата отклонения. Некоторые удивлялись, первый раз услышав о существовании MAD.
Почему это важно? Сложилась ситуация, когда руководители, принимающие решения, рассуждают о "волатильности", имея о ней смутное представление. В финансовой печати можно отметить, что ту же ошибку делают и журналисты, пытаясь объяснить термин VIX (индекс волатильности). Даже на официальном сайте Министерства торговли США волатильность определена неверно.
Ошибка ведет к недооценке отклонений, потому что MAD, согласно неравенству Йенсена, меньше СКО (или равно ему).
Среднее абсолютное отклонение vs СКО? Кто круче?
Почему в статистике предпочли СКО, а не MAD? Талеб ссылается на Хьюбера (P.J. Huber. Robust Statistics. Wiley, New York, 1981):
Был спор между Эддингтоном и Фишером, примерно в 1920 году, об относительных достоинствах dn (среднее абсолютное отклонение) и Sn (среднеквадратическое отклонение). Потом Фишер указал, что для в точности нормальных наблюдений Sn на 12% эффективнее, чем dn, и, видимо, это решило исход спора.
Оставим все математические выкладки, придем сразу к выводу, который получает Талеб:
Здесь важно отметить, что от этого отношения ничего не останется при малейшем "загрязнении" данных. Талеб много глав посвящает выводу этого доказательства, но пока просто бросим взгляд на то, как хрупко СКО и что оно работает лишь для Гауссовых данных.
Талеб как Маяковский, любит революции, задается резонным вопросом - почему СКО нужно отправить на помойку?
Понятие СКО сбило с толку толпы ученых, пора отправить его на помойку из общего употребления и заменить на более эффективное среднее абсолютное отклонение (MAD)!!!
СКО стоит оставить лишь математика, физикам и специалистам по математической статистике, выводящим предельные теоремы. Нет научных резонов рекомендовать его для статистических исследований в нашу компьютерную эпоху, ибо от него больше вреда, чем пользы - особенно когда растущий класс специалистов в общественных науках применяет готовые статистические инструменты к научным проблемам.
Возвращаясь к первоначальной задаче, так 14,1 (СКО) нужно использовать или 10,8 (MAD - mean absolute deviation)?
На самом деле вторая куда лучше соответствует "практическим задачам" и отражает реальность. Интуитивно мы часто ожидаем услышать именно о второй величине, нередко человеку сообщают СКО, а он затем действует так, будто принял эту величину за среднее отклонение.
Причиной всему историческая случайность - в 1893 г. великий Карл Пирсон употребил термин "стандартное отклонение" (standard deviation) вместо употреблявшегося более громоздкого "среднеквадратическая ошибка" (root mean square error). И положил начало великому заблуждению: публика решила, что это значит среднее абсолютное отклонение. Предрассудок пустил корни и затвердил, как скала - всякий раз, когда какая-нибудь газета пыталась уточнить понятие рыночной "волатильности", она сбивалась в словесных описаниях на среднее абсолютное отклонение, даже если приводила формулу, по которой насчитала среднеквадратическое отклонение, более высокое.
И если бы только журналисты, Талеб видел то же смешение в официальных документах Министерства торговли США и Федерального резерва - в заявлениях о рыночной волатильности, сделанных регуляторами рынка. Хуже того, они с Голдстайном обнаружили многочисленных специалистов по анализу данных (зачастую с докторскими научными степенями), которые путали эти вещи в практических задачах.
Вот что натворил неудачный термин для неинтуитивного понятия. Психологический феномен склонность к упрощению толкает людей принимать СКО за MAD, потому что о MAD легче думать - это эффект Линди, хорошо известный мошенникам и иллюзионистам.
Ну и на последок, 4 аргумента от Талеба, чтобы устроить революцию и послать нафиг СКО:
1). MAD точнее оценивается по выборке и менее волатильно, чем СКО, поскольку не взвешивает наблюдения, тогда среднеквадратическая ошибка приписывает бОльшим отклонениям больший вес, переоценивая хвостовые события.
2). Мы часто используем СКО в формулах, но в итоге приходим к необходимости преобразовать его в MAD (например, в финансах - для определения стоимости опциона). Поправка существенная. В Гауссовом мире СКО примерно в 1,25 раза больше MAD. Но нам надо выживать при стохастической волатильности, где СКО нередко превосходит MAD в 1,6 раза.
3). Многие статистические явления и процессы характеризуются "бесконечной дисперсией" (то же знаменитое правило Парето 80/20), хотя обладают конечным и часто спокойно ведущим себя средним абсолютным отклонением. Во всех случаях, где существует СКО, существует и MAD. Риска в эту сторону (бесконечное MAD при конечном СКО) не существует.
4). Многие экономисты побоялись рассмотреть модели с бесконечной дисперсией, подумав, что это значит бесконечное среднее абсолютное отклонение. Прискорбно, но факт. Когда великий и ужасный Бенуа Мандельброт выдвинул свои модели с бесконечной дисперсией 50 лет назад, экономисты испугались, потому что в их головах смешалось одно с другим.
Для написания данной статьи использовалось немного здравой логики и книга Нассима Николаса Талеба "Статистические последствия жирных хвостов".
-----------
Любите ❤️ опционы, торгуйте грамотно!
С уважением, Карлсон .
p.s. кому интересно, свои мысли по рынку кидаю в телегу @KarLsoH, там же есть и опционный чат.