Все мы знаем Закон Больших чисел: среднее по выборке независимых одинаково распределенных случайных величин стремится с ростом объема выборки к математическому ожиданию. Иными словами, если вы наблюдаете многократно одну и ту же случайную величину, складываете полученные значения и делите на число опытов N --- результат будет все ближе (при больших N) к математическому ожиданию случайной величины. Одинаковое распределение означает, что опыт один и тот же. Независимость --- что один опыт не влияет на другой.
Есть некоторые оговорки и предположения, причем в различных вариантах: существует несколько теорем. А вот для распределения Коши Закон не работает, потому что у него матожидания нет (формально, только по соображениям симметрии). Но в целом смысл таков, и это подводит обоснование под сами понятия вероятности и среднего.
Что приятно: Закон работает для любых распределений, лишь бы некоторые условия выполнялись. Для нормального есть намного более точные оценки, я уже рассказывал: по сути, ЗБЧ говорит лишь, что сумма величин с нулевым матожиданием растет медленнее, чем число слагаемых.
![Численный эксперимент: равномерное распределение на [0,1] (матожидание равно 0/5); выборка из 10, 100 и 1000 значений (черный, синий, красный).](https://avatars.dzeninfra.ru/get-zen_doc/3956088/pub_5f42bd1a7bd71b6a22d7768a_5f42dc5ffc228c5964dfc51c/scale_1200)
Законом малых чисел иногда в шутку называют ошибку, которая состоит в распространении ЗБЧ на маленькие выборки. Мы это уже обсуждали. Возьмем орлянку: выигрыш или проигрыш единицы с равными шансами. Средний выигрыш за ход при большом числе игр стремится к нулю. Собственно, центральная предельная теорема позволяет оценить распределение суммы N результатов как нормальное, причем среднее у него нуль, а дисперсия равна сумме (одинаковых, равных единице) дисперсий, то есть равна N. Тогда сигма --- это √N. А вероятность уклонения нормального распределения от среднего на три сигмы --- очень невелика. А среднее при этом будет не больше 3/√N. То есть, вероятность, что средний результат 100 партий будет больше 0.3, весьма невелика.
Однако это для больших N. Для малых дело обстоит иначе. Если N=10, то вероятность проиграть все десять партий равна 1/1024, а девять партий --- в десять раз больше, около 0.01.
Если в числах, то для пяти партий среднее выходит за пределы [0.4,0.6] с вероятностью 0.375, а для ста партий --- 0.035.
Это приводит к такому эффекту: при малом числе попыток больше разброс, уклонение от среднего. Стрелок, который выпустил пять стрел, может случайно попасть очень хорошо и выглядеть лучше стрелка, который выпустил сто стрел.
Предельный пример: явка на выборы в деревне, где всего двое живут, равна либо 100%, либо 50%, либо нулю. И если жители бросают монетку, то с вероятностью 25% у них явка больше, чем где-бы то ни было!
Еще "Сильный закон малых чисел" применяется для обозначения такого принципа: "Малых чисел не так много". Принадлежит Р. Гаю. Иными словами, мы обычно оперируем небольшими числами, просто потому, что большие неудобны, а потому совпадения неизбежны.
Парадокс дней рождения, о котором будет отдельная заметка, тому пример. В году 365 дней и это не так много, чтобы дни рождения не совпадали. Конечно, можно набрать 365 человек с несовпадающими днями рождения, но это сложно, и при случайном выборе дни рождени будут с большой вероятностью совпадать. Парадокс в том, что вероятность совпадения больше 50% задолго до половины от 365 --- после 20 с чем-то.
Вот еще пример: сумма квадратов 3 и 4 равна квадрату 5, сумма кубов 3, 4, и 5 равна кубу 6. Совпадение или правило? Как насчет суммы четвертых степеней 3, 4, 5 и 6 --- равна ли она четвертой степени 7?
Нет. Это совпадение.
Или вот продолжите ряд: 3 1 4 1 5
Какое число следующее?
9. Потом 2. Понятно, почему?
Закон Очень Больших Чисел --- часть принципа невероятности. Гласит, что если пробовать достаточно много раз, вероятность наблюдать маловероятное событие хотя бы один раз сколь угодно велика (сколь угодно близка к единице). Иными словами, вероятность НИ РАЗУ не наблюдать маловероятное события МАЛА, если попыток много.
Еще одно значение выражения "закон малых чисел" относится к распределению Пуассона. Оно заслуживает отдельной заметки, сейчас кратко. Биномиальный закон, он же "схема Бернулли", дает вероятности наблюдать k успехов из n попыток при вероятности успеха в одной попытке p. При больших n и маленьких p считать становится трудно; выручает приближение биномиального закона законом Пуассона, или "малых чисел": если p мало, а n велико, так что np=λ, то вероятность, что будет ровно k успехов хорошо приближается формулой e^{-λ}λ^k/k!.
Например, пусть вероятность чего-нибудь равна 0.01 и делается сто попыток. Вероятность ровно двух успехов составляет 0.1849; оценка Пуассона дает 0.1839.
В заметке использовался материал книги Д. Хенда Improbability Principle.