A/B тесты — это мощный инструмент маркетинга, который помогает лучше вовлекать аудиторию, увеличивать конверсию, выбирать лучшие заголовки и, как результат, помогает увеличивать прибыль.
Что такое А/В тест. Это эксперимент с двумя группами для определения лучшего из двух вариантов, двух продуктов, двух лекарств, процедур и тд. Один из них является стандартным существующим вариантом, называемым контрольным, другой является предлагаемым вариантом.
Как он проводится? Участники эксперимента делятся на две группы. Для группы А все остается без изменений, группе В предложен новый вариант. Группа А нам необходима, если мы хотим полностью исключить влияние других факторов, кроме исследуемого. Например, если результаты группы В будут отличаться от обычных, то это может быть обусловлено днем недели, погодой и тд. Поэтому мы исследуем две группы в одно время и с одинаковыми условиями, кроме одного, влияние которого и измеряем.
Выдвигается нулевая гипотеза — данный фактор не оказал никакого влияния на конверсию/время, потраченное на странице/количество продаж. Выбираем уровень значимости 90%, 95% или 99%. Чем меньше уровень значимости, тем больше вероятность совершить ошибку в выводе.
На практике 8 из 10 A/B тестов не являются статистически значимыми.
Проводим испытание и замеряем результаты. Как правило, распределение искомой величины будет выглядеть так:
Интуитивно понятно, что чем дальше расположены графики, тем меньше вероятность того, что разница обусловлена случайностью.
Как это работает? Допустим, у компании есть сайт-визитка. Руководитель компании захотел увеличить количество людей, позвонивших по номеру, указанному на сайте. Для этого был разработан новый дизайн сайта, который, предположительно, увеличит конверсию на сайте. Нулевая гипотеза — конверсия не увеличится.
Мы делим посетителей сайта на две группы (случайным образом), предлагаем каждой группе свой вариант сайта. Сравниваем получившиеся результаты, и если разница меньше определенного заранее установленного нами значения, то мы делаем вывод, что разница в конверсии могла быть обусловлена случайностью, следовательно, мы не можем отвергнуть нулевую гипотезу.
Таким образом, A/B тесты - очень мощный статистический инструмент. Благодаря нему мы кликаем на рекламные посты, переходим на статьи с интересными заголовками, проводим больше времени в соц. сетях.
Подробнее про ресурсы и новости Data Science будет рассказано в следующих постах. Добро пожаловать в мир науки о данных!