Для проверки достоверности одной из выдвинутых гипотез и оценки результатов проведенного эксперимента аналитикам важно понимать, какой является статистическая значимость. Что это такое, по каким формулам рассчитывается указанный параметр и как впоследствии трактовать его значение – давайте разбираться.
Статистическая значимость: определение и использование в маркетинге
Статистическая значимость – это количественный показатель, указывающий на то, что полученные результаты не являются случайными и могут быть признаны достоверными. Она часто используется в маркетинге, когда нужно проверить чистоту эксперимента и понять, можем ли мы доверять результатам теста. Рассчитать статистическую значимость быстро и легко можно с помощью онлайн-калькулятора. Но чтобы вы детально разобрались в вопросе, мы поэтапно покажем, как проводятся такие расчеты вручную (об этом читайте ниже).
Любое A/B-тестирование (рассылок, сайта, дизайна, рекламных объявлений и т. п.) обязательно нужно заканчивать проверкой статистической значимости. Только после этого шага можно приступать к внедрению инноваций.
К слову, в eSputnik A/B-тестирование товарных рекомендаций на сайте проводится прямо в самой системе, и мы всегда учитываем статистическую значимость проведенного эксперимента. Он будет признан успешным только в том случае, если один из вариантов лидирует с вероятностью не менее 90%, а разница в эффективности между тестируемыми вариантами составляет более 5%. Пока порог статистической значимости не достигнут, тест продолжается. Впрочем, при желании вы можете вручную остановить тестирование раньше времени, выбрав устраивающий вас вариант.
Хотите увидеть нашу функциональность в действии и оценить, насколько легко проводить статистически значимое A/B-тестирование товарных рекомендаций, а также настраивать их на своем ресурсе – тогда оставляйте заявку на консультацию. Наши менеджеры свяжутся с вами, ответят на все интересующие вопросы и расскажут, как eSputnik может помочь вашему бизнесу добиться лучших результатов.
Хочу получить консультацию от eSputnik!
Статистическая значимость и гипотезы
Статистическая значимость применяется всегда, когда нужно проверить гипотезы. А они останутся таковыми до тех пор, пока не будут доказаны или опровергнуты. Предположим, что у компании упали конверсии рекламного объявления, благодаря которому еще месяц назад удавалось достичь хороших продаж продукта. Маркетолог считает, что все дело в рекламных креативах: они уже отработали свое, приелись ЦА и нуждаются в замене. Он предложил изменить текст объявления и призыв к действию. Согласно нашей гипотезе предлагаемые изменения в объявлении приведут к поставленной цели эксперимента – увеличению продаж среди клиентов, пришедших на сайт по рекламе. Задача маркетолога – провести A/B-тестирование двух версий креативов и определить, какой из них лучше. Если статистическая достоверность эксперимента окажется высокой, то его результаты можно принимать во внимание.
Критерии оценки выдвинутых гипотез
Необходимо установить уровень статистической значимости, который определит степень достоверности полученных результатов. Обычно достаточно указать значение в 0,05 – это значит, что разница в вероятности между вариантами составляет 5%.
Далее нужно понять, какой критерий для оценки выдвинутых гипотез вы будете использовать: одно- или двусторонний. В этом случае применяется t-критерий Стьюдента (онлайн калькулятор этой метрики значительно облегчит ваши расчеты). С его помощью вы сможете проверить, нормально ли распределены данные двух вариантов в установленных пределах, нет ли сдвига в одну из сторон. Под нормальным распределением подразумевается распределение, при котором математическое ожидание (значения параметров соответствуют средним значениям) равно нулю, а стандартное отклонение (разброс величин) – единице.
Коэффициент Стьюдента можно применять в любой сфере бизнеса, когда речь идет о статистике и проверке достоверности результатов. В качестве альтернативы можем использовать расчет критерия Манна-Уитни. Его вычисляют, когда нужно сравнить два варианта выборки вне зависимости от принципа их распределения. Рассчитывать u-критерий Манна-Уитни также удобнее и быстрее всего с помощью специального онлайн-калькулятора (разработчики таких калькуляторов обычно поясняют, как определить коэффициент, чтобы не допустить ошибку в вычислениях, так что пользоваться ими несложно).
Вычисление объема выборки и стандартного отклонения
После того как вы провели автоматический расчет t-критерия Стьюдента или u-критерия Манна-Уитни, переходите к определению оптимального объема выборки. Количество людей, на которых вы будете тестировать свои варианты, должно быть достаточным для признания достоверности полученных результатов.
Если проверить гипотезу на небольшом количестве участников эксперимента, то полученных данных не хватит для оглашения статистически значимых выводов. Да и вероятность получить случайные результаты при таком подходе очень велика. Поэтому всегда придерживайтесь установленного размера выборки. Вычислить его также можно с помощью специального онлайн-калькулятора.
Далее переходите к расчету стандартного отклонения, оно указывает на величину разброса данных. Этот показатель можно найти по следующей формуле:
Чтобы не выполнять сложные расчеты вручную, воспользуйтесь онлайн-калькулятором стандартного отклонения.
Расчет статистической значимости
Мы подошли к финальным вычислениям. Так как стандартное отклонение вы уже знаете, осталось определить дисперсию (меру разброса значений случайной величины относительно ее математического ожидания) между обеими группами. Она рассчитывается по такой формуле:
Для облегчения расчетов можно воспользоваться онлайн-калькулятором дисперсии выборки.
Теперь рассчитайте t-оценку показателей, с помощью которой вы сможете проверить t-критерий Стьюдента (таблица ниже), по этой формуле:
При расчете первым подставляйте большее среднее значение, тогда итоговая величина у вас будет положительной. Когда все вычислите, переходите к определению степени свободы выборки. Для этого прибавьте объемы двух выборок и отнимите 2. Для оценки получившегося результата вам понадобится таблица значений критерия Стьюдента:
Теперь вы знаете, что такое статистическая значимость и для чего она нужна, как рассчитать критерий Стьюдента онлайн, какими формулами пользоваться для поэтапного вычисления t-оценки и P-значения, каким образом проанализировать полученные результаты. Удачных вам расчетов!