Ошибка первого рода (α-ошибка, ложно-положительное заключение) — ситуация, когда отвергнута верная нулевая гипотеза (гипотеза об отсутствии связи между явлениями или искомого эффекта).
Ошибка второго рода (β-ошибка, ложно-отрицательное заключение) — ситуация, когда не отвергнута неверная нулевая гипотеза.
В математической статистике это ключевые понятия проверки статистических гипотез.☝🏻
Для понимания, что могут означать ошибки в контексте исследования, приведем такой пример:
По нулевой гипотезе (Н0): пациент здоров.
По альтернативной гипотезе (Н1): пациент болен.
Ошибка первого рода дает нам ложно-положительный результат, то есть Н0 отвергается: «Пациент болен, хотя на самом деле он здоров».
Ошибка второго рода дает нам ложно-отрицательный результат, то есть Н0 не отвергается, но она неверна: «Пациент здоров, хотя на самом он болен».
Вероятность того, что вы допустите ошибку 1-го рода (то есть отвергнете Н0, когда на самом деле гипотеза верная) называется уровнем значимости (обозначается греческой буквой «альфа»).
Обычно значение уровня значимости берется 5%, 1% или 0,1% (это вы устанавливаете заранее). Если в результате теста было получено p-значение меньше уровня значимости (например, α = 5%, значит p-value < 0,05), то нулевая гипотеза отклоняется, а соответствующие результаты признаются статистически значимыми. Это означает, что вероятность того, что наблюдаемый эффект объясняется случайностью, очень мала (меньше 5%).
Например, если утверждается, что «шанс отвергнуть нулевую гипотезу, если она на самом деле верна, равен одному из тысячи», то имеется в виду уровень значимости 0.1%.
Важно помнить, что слишком низкий уровень значимости (например, α = 1%) уменьшает вероятность ошибки первого рода, но увеличивает вероятность ошибки второго рода. Это связано с тем, что становится сложнее обнаружить реальные эффекты, особенно если выборка мала.
Эффект в данных может быть слабый, но реальный (то есть альтернативная гипотеза верна), но тест может не иметь достаточной статистической мощности, чтобы его обнаружить. В этом случае H₀ не отвергается, что приводит к β-ошибке.
В следующий раз мы поговорим о мощности статистического теста, и как с ним связан размер выборки!🤓