Например мы, планируем A/B-тест для нового функционала в мобильном приложении. Перед запуском нужно определить параметры эксперимента. Допустим, мы для себя решили что: Что это значит на практике и какую вероятность ошибки мы закладываем? При проведении любого статистического теста мы можем столкнуться с двумя типами ошибок: В нашем случае: Формула связи мощности и ошибки II рода проста: Подставляем наши значения: С заданными параметрами эксперимента:
Например мы, планируем A/B-тест для нового функционала в мобильном приложении. Перед запуском нужно определить параметры эксперимента. Допустим, мы для себя решили что:
- Уровень статистической значимости (α): 1% т.е. 0,01;
- Мощность теста (1 - β): 90% т.е. 0,90.
Что это значит на практике и какую вероятность ошибки мы закладываем?
Распределение вероятностей в тестировании
При проведении любого статистического теста мы можем столкнуться с двумя типами ошибок:
- Ошибка I рода (α) — ложноположительный результат. Решили что эффект есть, хотя его на самом деле нет;
- Ошибка II рода (β) — ложноотрицательный результат. Решили что эффекта нет, хотя он на самом деле есть.
В нашем случае:
- α = 1% — вероятность обнаружить эффект, которого на самом деле нет. Т.е. такая ошибка будет в 1 случае из 100;
- Мощность = 90% — это вероятность правильно обнаружить существующий эффект. Т.е. эффект будет обнаружен в 90 случаев из 100.
Расчёт вероятности ошибки II рода
Формула связи мощности и ошибки II рода проста:
- β = 1 - Мощность
Подставляем наши значения:
- β = 1 - 0,90 = 0,10 = 10%
💡 Практическая интерпретация
С заданными параметрами эксперимента:
- В 1% случаев мы ошибочно решим, что новый функционал работает (ошибка I рода);
- В 10% случаев мы не обнаружим реальный эффект (ошибка II рода);
- В 90% случаев мы правильно обнаружим эффект, если он действительно есть.