В этой статье рассмотрим тему p-значений в статистике. Информация пригодится всем, кто занимается анализом данных и статистическими сведениями. Определение простыми словами P value – это вероятность того, что случайное значение величины с данным распределением (тестовой статистики при нулевой гипотезе) будет принимать значение, не менее фактического. Представляет собой наибольший показатель уровня значимости (вероятности отказа от того, что предположение верно), для которого вычислительная проверочная статистика ведет к отказу от нулевой гипотезы...

Продолжаю заметки кэпа. Наткнулся на статью о научных закрытиях про статистическую значимость. Мол устарела и не надо пользоваться. Так и хочется сказать, ребята статистическая значимость великолепно работает, только надо уметь ей пользоваться. Сначала простенькое пояснение, в каких случаях такого рода критерии используют. Пусть у нас есть 20 рыжих девушек и 100 девушек с другим цветом волос. Мы предположили, что рыжие в среднем тяжелее. Взвесили, посчитали средний вес рыжих и остальных. Убедились, что в нашей выборке рыжие в среднем тяжелее. Правда ли, что эффект справедлив для рыжих? Пример совершенно условный, у меня нет данных в пользу наличия связи меж цветом волос и весом...

Статистическая значимость — понятие, которое используется в науке для того, чтобы оценить, насколько вероятно, что полученные результаты не являются случайными или ошибочными. Если результаты статистически значимы, то это означает, что они достаточно надежны и воспроизводимы, и что они могут свидетельствовать о наличии какого-то интересного явления или закономерности. Статистическая значимость часто измеряется с помощью так называемого Р-значения, которое показывает, какова вероятность получить такие же или более экстремальные данные при условии, что никакого эффекта на самом деле нет...

Что такое статистическая значимость? Чтобы правильно объяснить, что такое статистическая значимость, необходимо сделать небольшой шаг назад. Наши цели всегда связаны с улучшением важных для нас бизнес-метрик. Мы стремимся получить больше посетителей, повысить конверсию посетителя в покупателя, увеличить retention и снизить churn, увеличить количество повторных заказов и многое-многое другое. Однако мы не можем полагаться только на свои знания, чтобы определить какое из действий приведет к улучшению. Именно тут вступает в силе a/b тестирование, поскольку он является единственным научным способом...