Что такое статистическая значимость? Чтобы правильно объяснить, что такое статистическая значимость, необходимо сделать небольшой шаг назад. Наши цели всегда связаны с улучшением важных для нас бизнес-метрик. Мы стремимся получить больше посетителей, повысить конверсию посетителя в покупателя, увеличить retention и снизить churn, увеличить количество повторных заказов и многое-многое другое. Однако мы не можем полагаться только на свои знания, чтобы определить какое из действий приведет к улучшению. Именно тут вступает в силе a/b тестирование, поскольку он является единственным научным способом...
Есть термин, который вызывает непонимание: это "значимость" в статистическом смысле. Давайте внесем ясность. Значимость для кого? — спрашивают (в том числе и) меня. В статистике никакое событие не является невозможным. Если что-то исключено просто по определению, то оно просто вне рассмотрения, а обычно границу между невозможным и маловероятным провести очень трудно. Например, если мы измеряем процент рыжих, то он до 100 и больше быть не может. А 99 может... технически, хотя ясно, что 99-то никак, явно меньше...