Дело о бюджетах. Может ли один вопрос убить A/B-тест?
Расследую дело о слитых бюджетах и неверных результатах.
Кажется, всё просто: две версии, трафик, метрики.
Но успех или провал часто решает один вопрос, который команда задала перед запуском... или проигнорировала.
Что такое A/B-тестирование?
Это когда мы подозреваем, что версия «А» нашего сайта могла совершить преступление против кликов или действий пользователей. Или может она им просто не нравится.
Мы создаём версию «Б» с другим алиби (цвет кнопки, текст, расположение блока) и смотрим, какая из них выживет в полевых условиях.
Вердикт:
Один неправильный вопрос (или его отсутствие) перед запуском — и ваш тест обречён быть статистически ничтожным, а бюджет тихо испарится.
Поэтому команда Product Games разобрала такие вопросы:
Может ли один вопрос убить или оживить A/B-тест?
И даже составила базу — чек-лист:
«10 вопросов, которые нужно задать себе ПЕРЕД запуском A/B-теста»
Забирайте его, чтобы ваши тесты раскрывали дела, а не хоронили бюджет.
