Цитата, разумеется, вымышленная. А вот факапы, которые мы допускаем в бизнесе, меняя продукт просто по интуиции, вполне себе настоящие.
Я же не просто так завел тему с когнитивными отклонениями. Как часто, сделав несколько маленьких побед в продукте мы думаем, что познали природу вещей и теперь всегда будем правы? Да регулярно! Два-три подряд верно принятых решения и мы расправляем плечи и гордо поднимаем голову. До очередного факапа…
Так вот, и тут математика нас подстраховала! Если в предыдущем посте я рассказал о том, как наковырять гипотез роста из уже собранных старых данных, то в этом поговорим о том, как правильно тестировать гипотезы и делать на них выводы в будущем!
Давайте представим себе кейс: вы решили, что если поменять цвет кнопки на вашем сайте, то у вас вырастут продажи. Сейчас она зеленая. Вы думаете, что синяя будет лучше. Вы красите ее в синий и получаете прирост продаж. А в следующий месяц все проваливается.
Почему? Да потому что вы не учли, что в прошлом месяце были скидки, а в этом нет. В прошлом месяце был ноябрь, а в этом уже декабрь. Другое время, другие запросы. И дело возможно не в кнопке. И нельзя судить о том, помогла вам перекраска поднять продажи или нет.
Как тогда принять решение?
Свет. Занавес. Статзначимость.
Добро пожаловать в дивный мир А/В-тестов гипотез!
Итак, делим аудиторию сайта поровну. Четным показываем синюю кнопку, нечетным зеленую. А дальше ждем, пока они не дозреют до первых продаж (та самая запаздывающая метрика из прошлого поста).
Открываем любой калькулятор стат значимости, например, этот.
Вбиваем туда наши данные:
2 варианта (синие и зеленые)
Размер выборки - это число людей в каждой группе: 1000 синих и 1000 зеленых. На самом деле редко удается поделить прям поровну, но для примера возьмем по 1000.
Конверсии - это целевые действия. В нашем случае покупки. Синие купили 100 раз, зеленые 95
Вывод: хоть синие и купили больше за этот период, стат значимого прироста нет. А значит одно из двух утверждений верно:
- гипотеза ошибочная, цвет кнопки не влияет на продажи
-мы собрали слишком мало данных (а сколько надо собрать - тут вам подскажет калькулятор на той же странице)
И вроде успех был так близок, наша идея с новой кнопкой дала больше продаж, но математика утверждает, что явной связи с нашей гипотезой тут нет.
Вот вам и борьба с когнитивными искажениями народными методами. Пользуйтесь на здоровье.
Подписывайтесь на телеграм-канал "Филе единорога": https://t.me/UnicornFillet