5217 подписчиков
Довольно часто A/B-тесты могут вводить маркетологов в заблуждение. Чтобы понять, как это происходит, рассмотрим такой пример.
Представьте, что вы маркетолог большой организации в сфере искусств, которой нужно сократить отток подписчиков. Вы решаете отправить небольшие подарки тем из них, кто, по-вашему, находится в группе риска отмены подписки. Но это стоит денег, а вы хотите заранее убедиться в эффективности такого вмешательства. Поэтому вы проводите небольшую пилотную кампанию: случайным образом распределяете некоторых участников в зоне риска на две группы и отправляете подарок только одной из них, чтобы проверить, повлияет ли это на вероятность продления подписки.
Предположим, вы не обнаружили никакой разницы в степени удержания между участниками, которые получили подарок, и контрольной группой. Если на этом и закончить анализ, то, вероятно, вы отмените подарочную программу, ведь данные указывают, что подарки не влияют на удержание. Но изучив результаты подробнее, вы увидите: для определенной подгруппы клиентов (например, для тех, кто посещал ваши площадки в прошлом году) подарок на самом деле существенно увеличивает шансы продления подписки. И напротив, для тех, кто не заходил к вам давно, подарок только еще сильнее снижает вероятность продления, потому что напоминает, как редко они пользуются своей подпиской.
A/B-тесты, которые оценивают усредненные последствия какого-то вмешательства, могут скрывать важные данные о том, на каких именно покупателей воздействует ваша кампания (при любом результате теста — положительном, отрицательном или, как в этом примере, незначительном), так что маркетологи сделают неправильный вывод о том, какие кампании нужно проводить с какими клиентами.
1 минута
5 октября 2023