🔥🔥Отличный совет по аналитике № 1: вычисляйте статистическую значимость Мы все хотели бы, чтобы наши ключевые внутренние партнеры, лица, принимающие бизнес-решения, использовали данные Web Analytics гораздо чаще для принятия эффективных решений. Как мы можем давать рекомендации / принимать решения с уверенностью? Как мы можем побуждать к действиям, а не подталкивать к данным? Проблема заключается в том, как отделить сигнал от шума и легко донести это различие. Вот здесь-то и приходит на помощь совет №1 из серии "Отличный аналитик". Используйте силу статистики. 🅰Рассмотрим следующий сценарий (А): Вы рассылаете потенциальному клиенту два предложения. Вот как выглядят результаты: – Предложение 1: Ответы: 5,300. Заказ: 46. Коэффициент конверсии: 0.87% – Предложение 2: Отклики: 5,200. Заказ: 55. Коэффициент конверсии: 1.06% 🙄Является ли предложение два лучше, чем предложение один? Оно действительно имеет "лучший" коэффициент конверсии, на 0,19%. Можете ли вы решить, какое из двух предложений лучше, имея всего 40-50 ответов? Мы получили на 9 заказов больше от 100 меньшего числа посетителей. Применение статистики говорит нам, что результаты, два коэффициента конверсии, отличаются всего на 0,995 стандартных отклонений и не являются статистически значимыми. Это означает, что вполне вероятно, что разница в коэффициентах конверсии вызвана шумом. 🅱Рассмотрим следующий сценарий (B): Вы рассылаете потенциальному клиенту два предложения. Вот как выглядят результаты: – Предложение 1 Ответы: 5,300. Заказ: 46. Коэффициент конверсии: 0.87% – Предложение 2 Отклики: 5,200. Заказ: 63. Коэффициент конверсии: 1.21% 🙄Применение статистики теперь скажет нам, что эти два числа находятся на расстоянии 1,74 стандартных отклонений друг от друга, а коэффициент 95% статистически значим. 95% значимости - это очень сильный сигнал. Основываясь на этом, и только на выборке из 5 тысяч и шестидесяти ответов, мы можем уверенно предсказать успех. Мощные преимущества представления статистической значимости, а не просто коэффициента конверсии: – Вы убираете себя из уравнения, и это потрясающе - сказать "согласно богу статистики результаты показывают, что...". – Фокусировка на качестве сигнала означает, что мы выглядим умнее, чем люди считают аналитиков. – Вы исключаете из уравнения размышления и вопросы. Либо что-то является статистически значимым, и мы принимаем меры, либо мы говорим, что это не является значимым, и давайте попробуем что-то другое. Никакой отчетности, только практические выводы. ❓Это трудно сделать? Нет! Просто используйте приведенную ниже таблицу, которая пришла к нам от чрезвычайно любезного Рагса Шринивасана: vk.com/..._19 В электронной таблице вы получите еще больше пользы. На листе номер один вы можете применить тест с одним или двумя хвостами для расчета статистической значимости. Вот как это делается: Выберите вариант из выпадающего списка в ячейке D7. Заполните ячейки B13, C13, B14 и C14 (по сути, сколько было участников, посетителей и т.д. и сколько конверсий вы получили). В ячейке C18 вы увидите, были ли результаты статистически значимыми или нет. В листе номер два, для тех из вас, кто немного продвинулся, вы можете применить тест хи-квадрат. Этот тест более оптимален для тех случаев, когда вы видите очень маленькие коэффициенты конверсии (что не редкость в Интернете). Это более скептический тест с более высоким порогом различий. Преимущество в том, что небольшие статистические аномалии не выглядят как реальные различия. В случае сомнений используйте тест номер два - тест хи-квадрат. 💥Два небольших совета: – Это лучшая практика, но стремитесь к 95% или более высокой степени достоверности. Это не всегда требуется, но рекомендуется. – "Статистика - это как бикини. То, что они показывают, наводит на размышления, но то, что они скрывают, жизненно важно". -Аарон Левенштейн ©Автор: Авинаш Каушик, глобальный директор по стратегии, Croud Group, автор двух бестселлеров: Web Analytics 2.0, Web Analytics: An Hour A Day Оригинал тут: www.kaushik.net/...nce Согласны? Нет? ⤵
3 года назад
