А вот и вторая часть подборки про ошибки в A/B-тестах приложений.
В неё попали ещё 5 ошибок, которые «ломают» результаты экспериментов в продукте.
6. Преждевременное прерывание А/В-теста
Остановив эксперимент сразу при достижении статистически значимого результата, можно совершить ошибку подглядывания.
Заранее оговаривайте время остановки. Оно может зависеть от числа пользователей, рассчитанного по калькуляторам, и календарного фактора.
7. Несущественная разница в тестируемых вариантах
Например, эксперимент для мобильного экрана, где тестируются два похожих оттенка кнопки.
Разница между вариантами должна быть визуально заметна и очевидна.
8. Использование конверсии в качестве единственной метрики
Выбирать вариант продукта с лучшей конверсией — не всегда оптимально с точки зрения максимизации прибыли. Выгоднее привлекать более платёжеспособных пользователей.
Оптимизируйте тесты не только на конверсию, но и на финансовые метрики.
9. Использование только классических экспериментов
Есть алгоритмы, позволяющие изменять распределение трафика по вариантам на протяжении всего эксперимента.
По возможности используйте элементы байесовской статистики для определения победителя. Но для каждого метода есть свои ограничения и слепое их применение может не привести к желаемым результатам.
10. Несоответствие инструментария
Не все платформы для A/B-тестирования решают задачи, которые стоят перед разработчиками, продактами и маркетологами мобильных приложений.
Используйте передовые инструменты, позволяющие проводить тесты с «ручным» разделением трафика, ускорять эксперименты за счёт автоматических алгоритмов и оптимизироваться на финансовые метрики.
Больше о мобильном маркетинге в нашем блоге!