13 подписчиков
🔥🔥Отличный совет по аналитике № 1: вычисляйте статистическую значимость
Мы все хотели бы, чтобы наши ключевые внутренние партнеры, лица, принимающие бизнес-решения, использовали данные Web Analytics гораздо чаще для принятия эффективных решений. Как мы можем давать рекомендации / принимать решения с уверенностью? Как мы можем побуждать к действиям, а не подталкивать к данным? Проблема заключается в том, как отделить сигнал от шума и легко донести это различие.
Вот здесь-то и приходит на помощь совет №1 из серии "Отличный аналитик". Используйте силу статистики.
🅰Рассмотрим следующий сценарий (А):
Вы рассылаете потенциальному клиенту два предложения. Вот как выглядят результаты:
– Предложение 1: Ответы: 5,300. Заказ: 46. Коэффициент конверсии: 0.87%
– Предложение 2: Отклики: 5,200. Заказ: 55. Коэффициент конверсии: 1.06%
🙄Является ли предложение два лучше, чем предложение один? Оно действительно имеет "лучший" коэффициент конверсии, на 0,19%. Можете ли вы решить, какое из двух предложений лучше, имея всего 40-50 ответов? Мы получили на 9 заказов больше от 100 меньшего числа посетителей.
Применение статистики говорит нам, что результаты, два коэффициента конверсии, отличаются всего на 0,995 стандартных отклонений и не являются статистически значимыми. Это означает, что вполне вероятно, что разница в коэффициентах конверсии вызвана шумом.
🅱Рассмотрим следующий сценарий (B):
Вы рассылаете потенциальному клиенту два предложения. Вот как выглядят результаты:
– Предложение 1 Ответы: 5,300. Заказ: 46. Коэффициент конверсии: 0.87%
– Предложение 2 Отклики: 5,200. Заказ: 63. Коэффициент конверсии: 1.21%
🙄Применение статистики теперь скажет нам, что эти два числа находятся на расстоянии 1,74 стандартных отклонений друг от друга, а коэффициент 95% статистически значим. 95% значимости - это очень сильный сигнал. Основываясь на этом, и только на выборке из 5 тысяч и шестидесяти ответов, мы можем уверенно предсказать успех.
Мощные преимущества представления статистической значимости, а не просто коэффициента конверсии:
– Вы убираете себя из уравнения, и это потрясающе - сказать "согласно богу статистики результаты показывают, что...".
– Фокусировка на качестве сигнала означает, что мы выглядим умнее, чем люди считают аналитиков.
– Вы исключаете из уравнения размышления и вопросы. Либо что-то является статистически значимым, и мы принимаем меры, либо мы говорим, что это не является значимым, и давайте попробуем что-то другое. Никакой отчетности, только практические выводы.
❓Это трудно сделать?
Нет! Просто используйте приведенную ниже таблицу, которая пришла к нам от чрезвычайно любезного Рагса Шринивасана: vk.com/..._19
В электронной таблице вы получите еще больше пользы. На листе номер один вы можете применить тест с одним или двумя хвостами для расчета статистической значимости. Вот как это делается: Выберите вариант из выпадающего списка в ячейке D7. Заполните ячейки B13, C13, B14 и C14 (по сути, сколько было участников, посетителей и т.д. и сколько конверсий вы получили). В ячейке C18 вы увидите, были ли результаты статистически значимыми или нет.
В листе номер два, для тех из вас, кто немного продвинулся, вы можете применить тест хи-квадрат. Этот тест более оптимален для тех случаев, когда вы видите очень маленькие коэффициенты конверсии (что не редкость в Интернете). Это более скептический тест с более высоким порогом различий. Преимущество в том, что небольшие статистические аномалии не выглядят как реальные различия.
В случае сомнений используйте тест номер два - тест хи-квадрат.
💥Два небольших совета:
– Это лучшая практика, но стремитесь к 95% или более высокой степени достоверности. Это не всегда требуется, но рекомендуется.
– "Статистика - это как бикини. То, что они показывают, наводит на размышления, но то, что они скрывают, жизненно важно". -Аарон Левенштейн
©Автор: Авинаш Каушик, глобальный директор по стратегии, Croud Group, автор двух бестселлеров: Web Analytics 2.0, Web Analytics: An Hour A Day
Оригинал тут: www.kaushik.net/...nce
Согласны? Нет? ⤵
3 минуты
19 мая 2023