Вероятность события - это отношение количества наступлений события в ходе большого набора испытаний к общему их числу (например, вероятность выпадения решки равна 0.534, если в 1 000 000 испытаний она выпала 534 000 раз). Если испытаний немного, то говорить о вероятности некорректно, требуется провести дополнительные исследования (например, делать вывод о вероятности выпадения решки 0.5, если она выпала в одном из двух испытаний).
В демонстрационных целях смоделируем данные 5, 20 и 1000 подбрасываний монеты с истинной вероятностью выпадения решки 0.62. При этом каждый эксперимент проведем по три раза, чтобы отмечать изменение наблюдаемой вероятности от случая к случаю.
Можно убедиться, что при малом количестве испытаний вероятность сильно меняется (например, при 5 подбрасываниях в первом случае вероятность решки получилась равной 0.6, во втором - 0.4, а в третьем - 1). В противоположность этому при 1000 подбрасываниях в каждом из трех экспериментов вероятность получилась равной примерно 0.62.
В реальных условиях правильнее постепенно корректировать оценку вероятности по мере поступления данных с учетом первоначальной осведомленности о ее величине. Например, до наблюдения экспериментов по подбрасыванию монеты вы можете полагать, что вероятность выпадения решки может быть любым числом от 0 до 1 с одинаковой степенью уверенности (равномерное распределение). Это называется априорной вероятностью, то есть при отсутствии каких-либо опытов.
График равномерного распределения выглядит следующим образом:
Это означает, что на первом этапе исследователь придает одинаковую вероятность любому значению неизвестного параметра.
Впоследствии, по мере наблюдения за данными, вероятность корректируется и ее называют апостериорной, так как она рассчитана с учетом полученных знаний. В соответствии с ранее показанной динамикой правдоподобности наблюдаемой вероятности при малом и большом количеством испытаний, степень такой коррекции также меняется от меньших значений к большим.
Приведу график апостериорной вероятности выпадения решки при наблюдении ее выпадения в 60% случаев в трех экспериментах при 5, 20 и 1000 подбрасываниях (априорную вероятность будем считать равномерной на отрезке от 0 до 1).
Таким образом, есть степень уверенности в истинном значении вероятности решки сильно меняется в зависимости от числа наблюдений. Если при малом их количестве мы не уверены в реальных значениях, то при большом приобретаем сильную уверенность.
В примере выше мы фактически нивелировали влияние априорной вероятности, положив ее равномерной. Можно рассмотреть и другую ситуацию. Если бы мы на основании каких-либо первоначальных знаний могли полагать, что вероятность выпадения решки меньше вероятности выпадения орла, например, с таким априорным распределением (априорная вероятность решки около 0.375):
Если теперь опять предположить, что в трех указанных выше испытаниях при 5, 20 и 1000 подбрасываниях решка выпала в 60% случаев, мы бы наблюдали следующие результаты оценки апостериорной вероятности:
В результате после первого эксперимента мы бы считали, что вероятность выпадения решки находилась вблизи 0.46, после второго - 0.54, а после третьего - 0.6. То есть при большом количестве подбрасываний степень уверенности настолько растет, что априорная вероятность оказывает значительно меньшее влияние.