Давайте обсудим такую тему, как проверка статистических гипотез. Все о ней слышали, но часто в голове рецептурная магия: сделай так и сравни с таблицей. Возьмем для примера гениального квартирмейстера Сильвера, который сел играть в орлянку с одним прохвостом по имени Ваффанкуло.
Ваффанкуло выиграл десять раз подряд в орлянку. Повезло или он нечист на руку? А девять раз из десяти? А восемь?
Некая экзистенциальная проблема теории вероятностей в том, что однозначного ответа на вопрос --- нет. Если у события есть ненулевая вероятность, оно может произойти. И это означает, что обязательно произойдет, если пробовать достаточно долго. Даже событие нулевой вероятности иногда возможно, и более того: при каждом опыте будет наблюдаться событие нулевой вероятности!
Возьмем дартс и будем кидать дротик, считая точку, в которую воткнулось острие, случайным событием. Каждая точка круга имеет вероятность нуль; но какая-то точка будет получена при каждом броске (попавшем в круг).
Математическая статистика содержит раздел, посвященный проверке статистических гипотез. Все основано на уровне доверия: это допустимая вероятность ошибки (или минимально допустимая вероятность не ошибиться). Причем если гипотеза принимается, полезно посмотреть, при каком уровне доверия она была бы отвергнута: это называется p-value.
Итак, вы выбираете уровень доверия: вероятность, которую считаете слишком малой. Вычисляете величину, распределение которой известно (если гипотеза верна). Она с заданной вероятностью попадает в некоторую область, а если не попала, то одно из двух: либо "очень повезло", либо гипотеза неверна.
Простой пример.
Сильвер и Ваффанкуло играют в орлянку монетой последнего. Десять партий. Если монета правильная, равновероятно выдающая герб и портрет короля, то распределение побед Сильвера будет таким: 0 с вероятностью ~0.001, 1 ~ 0.01, 2 ~ 0.044, 3 ~ 0.117, 4 ~ 0.2, 5 ~ 0.25, далее симметрично.
Допустим, Сильвер выбрал уровень в одну сотую: для сравнения, это примерно вероятность выиграть одну партию из десяти. Получается, что с вероятностью больше 1-0.01 число побед из десяти партий попадает между 2 и 8! Даже вероятность не победить ни разу или один раз больше 0.01. Поэтому девять раз из десяти Сильвер может списать на неудачу. Десять --- уже нет.
Однако p-значение для девяти поражений из десяти игр равно 5/512, это очень близко к порогу в 0.01. Сильвер внимателен и держит руку на рукояти абордажной сабли. Увеличить количество данных --- неплохая идея, только лучше не повышать ставки.
Пусть сыграно сто партий. Теперь можно применить центральную предельную теорему или ее частный случай: формулу Муавра-Лапласа. ЦПТ гласит, что сумма одинаково распределенных независимых случайных величин распределена нормально, причем матожидание равно сумме матожиданий, а дисперсия --- сумме дисперсий. Если монета честная, то ее матожидание нуль, а дисперсия --- единица. Значит, сумма выигрышей-проигрышей распределена нормально со средним нуль и сигмой (среднеквадратическое отклонение, корень из дисперсии), равной 10.
По правилу трех сигм, нормально распределенная величина не отклоняется от среднего более чем на три сигмы с вероятностью более 0.997. Стало быть, более 30 монет Сильвер проиграть "не может". Конечно, возможны более тонкие оценки. 30 монет проигрыша --- это 65 поражений и 35 побед, то есть грубо --- две трети проигранных партий. Это "бывает", больше --- "нет".
Разумеется, это все грубо и оценочно. Чтобы понять. В справочниках вы найдете точные методы.
Что здесь важно уяснить. Если гипотеза не отвергается, это не значит, что она верна. Просто она не противоречит данным. Если Ваффанкуло может по желанию выкинуть монету нужной стороной, то он может стабильно выигрывать шесть партий из десяти в среднем, имея постоянный доход: небольшой, но безопасный. Впрочем, на большом массиве данных Сильвер и эту схему разоблачит: слишком маловероятна такая стабильная полоса везения.
А если гипотеза отвергается, то будут бить. Возможно, даже ногами. А могут и уши отрезать абордажной саблей --- пираты, они такие.