11 подписчиков

🔠🅰️🔠🔠🔠🔠🔠

Ошибки при проверке гипотез.

Мы все думаем, что умеем проверять гипотезы. Но лишним не будет.

😭 Проверка гипотез в широком месте воронки.

Пример: если мы обучим сейлзов продукту, то конверсия вырастет с 60% до 65%?

Это, конечно, даст нам прирост, но здесь и так хорошие показатели. Усилять сильное нужно в слабом месте. То есть если у нас хорошая конверсия в продажу, нужно сделать так, чтобы в отдел продаж поступало большое заявок. Соответственно, перемещаемся влево по воронке и штурмим там.

😭 Гипотеза "капитан очевидность" или «если мы спустимся по лестнице, то окажемся на улице»

Пример: у нас очень большая загрузка менеджеров по продажам, поэтому если мы наймем еще одного сейлз-менеджера, то количество лидов на человека уменьшится, что приведет к качественной обработке и увеличит конверсию в продажу на Х%.

И так понятно, просто делаем

😭 Одновременная проверка 2х и более гипотез, которые влияют на одну метрику

Пример: если мы изменим на лендинге блок с отзывами, это позволит увеличить C1 на 0,4%. И если мы скорректируем посыл/оффер в рекламном креативе, то повысим CTR на 1%.

Не всегда очевидно, что вторая гипотеза также может повлиять на конверсию. И в случае, если мы запускаем обе эти гипотезы, то явно не поймем, что сработало (если что-то сработало). Необходим АБ тест как в первом случае, так и во втором.

😭 Проверка гипотез без подготовки к сбору и оценке результатов

Пример: если мы добавим на страницу калькулятор стоимости, то сможем поднять конверсию на сколько-то там процентных пунктов.

Как правило, конверсию оценить мы можем. Но что происходит, если, например, эта самая конверсия не меняется? Разумеется, мы делаем вывод, что гипотеза неуспешна, пользователям это не нужно, мы ничтожества попробуем что-нибудь другое. Но, если подумать, то идея могла быть здравой, но реализация подкачала. Прежде, чем делать вывод, необходимо оценить, а пользовались ли калькулятором или он настолько низко расположен, что до него не успели дописать. Если пользовались, то успешно или нет. Цели, вебвизор, карта кликов и прочие ништяки вам в помощь.

😭 Слабые гипотезы

Пример: трудно масштабируемая гипотеза с профитом в 70 тысяч в случае успеха при ежемесячном плане в 11 млн явно слабая. Необходимо придумать, как эту гипотезу сделать сильнее. Если же усилить гипотезу не получается, от нее стоит отказаться в пользу более сильных гипотез.

😭 Считаем успешной гипотезу, проверенную на статистически недостоверной выборке или при небольших отклонениях от нормы

Пример: добавили на страницу некий блок и конверсия в заявку увеличилась на 0,1%. Принимаем за успех, масштабируем. Похоже на статистическую погрешность.

Для проверки себя - калькулятор статистической значимости:

https://www.websiteplanet.com/ru/webtools/abtest-calculator/

😱 Проблема для проверки гипотезы не проработана глубоко

Пример: наша проблема - низкая конверсия в заявку на флагманском продукте. Чтобы увеличить ее, давайте снизим цены.

Низкая конверсия в заявку это не проблема, а следствие. Чтобы дойти до проблемы, нужно задавать вопросы почему (или у кого) до тех по, пока решение не станет очевидным. Мы ведь все помним про 5 почему и подобные штуки?

👍 У какой возрастной группы?

👍 По какому региону?

👍 С какого устройства (мобильные/десктоп)

👍 С какого рекламного канала?

👍 В какой период сезонности?

etc.

И так далее. Группировки этих, и не только, выборок дают еще более точный ответ на вопрос. Сужу по себе: чем четче определена проблема, тем меньше требуется попыток, чтобы ее решить.

Например, низкая конверсия в заявку у посетителей сайта из регионов (не МСК и СПБ), гипотетически потому, что для них велика стоимость. Решение - давайте

а) На странице укажем, что у нас есть еще и продукт-даунсейл

б) На регионы будем вести РК с более дешевым продуктом

Конечно, решение хорошо бы предварительно подтвердить через интервью.

Здесь должно быть адекватное резюме. Не совершайте.

3 минуты

16 сентября 2023