Исходные данные
Провели множественный A/B-тест (три варианта: A, B, C), где каждое сравнение сделано с уровнем значимости (вероятностью ошибки I рода) α = 0.05 (5%). Какая результирующая ошибка всего теста?
Для одного теста (A vs B) ошибка 5% означает, что если на самом деле различий нет, то мы всё равно с вероятностью 5% ошибочно решим, что они есть. В тесте 3 парных сравнений: A vs B, A vs C, B vs C.
Если тесты независимы, то вероятность не совершить ошибку в одном сравнении: 1 − 0.05 = 0.95. Для трёх независимых тестов:
Формула вычисления ошибки для m тестов
1 − (1 − α)ᵐ
Для 3 тестов:
1 − (1 − α)³
P(нет ошибок) = 0.95 × 0.95 × 0.95 = 0.95³ ≈ 0.857
Значит:
P(хотя бы одна ошибка) = 1 − 0.857 = 0.143 ≈ 14.3%.
При множественным тестах вероятность ошибки растёт с количеством тестов быстро, для m = 5 вероятность ≈ 22.6%
Для нивелирования ошибки можно использовать поправку Бонферрони.
Для этого нужно разделить α на количество тестов:
0.05 / 3 ≈ 0.0167 — на каждое сравнение.
Тогда ошибка для каждого теста 1.67%, а вероятность хотя бы одной ошибки:
1 − (1 − 0.0167)³ ≈ 1 − 0.951 = 0.049 ≈ 5%
Формула расчёта поправки Бонферрони
αₖ = α / m,
где αₖ — скорректированный уровень значимости,
m — количество тестов,
α — исходный уровень значимости