Каждый год маркетологи тратят миллиарды долларов на кампании, направленные на привлечение и удержание клиентов, а также апселл. Однако, несмотря на эти огромные инвестиции, бывает крайне сложно определить, насколько эффективны эти инициативы и как можно улучшить их результаты.
Привет друзья! На связи Саша Морозов — менеджер Club.org и помогаю развивать WSA. Подготовил для вас перевод статьи автора Ева Аскарза (Eva Ascarza) – адъюнкт-профессор бизнес-администрирования семьи Якурских в Гарвардской школе бизнеса. Ева провела свои маркетинговые исследования, и в статье показана важность правильной постановки цели AB-теста для уменьшения оттока и повышения уровня удержания клиентов различных организаций.
Одним из распространенных методов измерения рентабельности инвестиций (ROI) кампании — проведение AB — анализа — когда маркетологи воздействуют на клиентов двумя разными способами, а затем сравнивают результаты между двумя сформировавшимися группами. При правильном подходе к анализу эти AB-тесты могут дать полезные сведения – но они также способны и ввести в заблуждение.
Чтобы понять недостатки часто применяемого A/B-тестирования, полезно рассмотреть гипотетический пример. Представьте, что вы работаете в крупной организации, осуществляющей деятельность в сфере искусства, которая обеспокоена снижением уровня удержания своих подписчиков.
Вы думаете отправить небольшой подарок вместе с уведомлением о продлении подписки тем членам организации, которые, по вашему мнению, подвержены более высокому риску отказа от нее, но поскольку за это придется заплатить — вам нужно убедиться в эффективности такого вмешательства, прежде чем распространять его в масштабе. Поэтому вы решили провести небольшую пилотную кампанию, случайным образом выбрав одну группу членов из «группы риска», кто получит подарок, а другую – которая не получит, чтобы посмотреть, будут ли те, кто получит подарок, с большей вероятностью продлевать подписку.
Теперь предположим, что вы не обнаружили никакой разницы в показателях удержания между членами, получившими подарок, и членами контрольной группы. Если бы вы закончили анализ на этом, то, скорее всего, отменили бы программу подарков, поскольку данные свидетельствуют о том, что рассылка подарков не влияет на удержание. Но при более тщательном изучении данных вы можете обнаружить, что для определенной подгруппы клиентов – например, тех, кто посещал заведение в прошлом году – подарок действительно значительно повышает шансы на продление, в то время как для клиентов, которые давно не посещали заведение, подарок снижает вероятность продления, возможно, потому что он служит более наглядным напоминанием о том, как редко они пользовались своей подпиской.
Использование AB-тестирования для оценки среднего показателя эффекта от вмешательства может скрыть важную информацию о том, какие клиенты, скорее всего, будут более или менее восприимчивы к данной кампании (независимо от того, предполагает ли анализ положительный, отрицательный или, как в данном примере, незначительный эффект от вмешательства). Это приведет к принятию маркетологами неверных решений о том, какие кампании проводить и с какими клиентами.
Оптимизация кампаний по предотвращению оттока
Это не просто гипотеза – на самом деле, этот пример основан на деятельности реальной организации, с которой я работал в рамках своего исследования. Когда речь идет о повышении уровня удержания, компании обычно определяют клиентов «высокого риска» - т.е. клиентов, чье недавнее поведение или другие характеристики позволяют предположить, что они с большей вероятностью отменят подписку или перестанут покупать продукт компании – а затем проводят A/B-тестирование, чтобы определить, будут ли их кампании по удержанию эффективны в этой группе. И хотя это вполне понятная стратегия (конечно, вам не стоит тратить маркетинговые ресурсы на клиентов, которые в любом случае не собираются уходить), мое исследование показывает, что она может привести к серьезным последствиям, поскольку может заставить маркетологов принимать ошибочные решения, которые по факту снижают общий коэффициент удержания и рентабельность маркетинговых затрат.
В частности, я провел отраслевые эксперименты с двумя крупными компаниями, которые проводили кампании по удержанию клиентов. В первой части моего исследования обе компании разработали меры по снижению оттока, а затем провели A/B-тестирование, отслеживая уровень оттока в общей сложности более 14 000 клиентов, где на одну случайно выделенную группу клиентов эти меры распространялись, а на другую – нет. Затем я собрал богатый набор данных о клиентах, включая недавнюю активность и взаимодействие с компанией, срок пребывания в качестве клиента компании, местоположение и другие показатели, которые использовались для прогнозирования риска оттока, и изучил, какие из этих характеристик коррелируют с положительной реакцией на кампании по удержанию.
В обеих компаниях я обнаружил, что клиенты, которые были определены как имеющие самый высокий риск оттока, не обязательно были лучшими целями для программ удержания – на самом деле, наблюдалась слабая корреляция между уровнем риска оттока клиентов и их чувствительностью к вмешательству. Данные показали, что существует отдельная группа клиентов, которые сильно реагировали на каждое вмешательство (клиенты с определенными поведенческими или демографическими характеристиками, которые последовательно коррелировали с гораздо меньшей вероятностью оттока после вмешательства), но эта «высокочувствительная» группа почти не соответствовала людям, которые были включены в группу «высокого риска оттока». И это имело серьезные последствия для рентабельности инвестиций: мой анализ показал, что если бы обе компании потратили одинаковый объем маркетингового бюджета на группу с высокой чувствительностью, а не на группу с высоким риском оттока, то это позволило бы снизить уровень оттока на 5 % и 8 % соответственно.
Конечно, конкретные факторы, которые делают клиента более восприимчивым к кампании по удержанию, будут варьироваться от организации к организации и даже от кампании к кампании, но проведение пилотных проектов, подобных описанному выше, может помочь вам определить характеристики, которые будут наилучшим образом предсказывать восприимчивость ваших клиентов к определенному вмешательству. Например, одна из организаций в моем исследовании была телекоммуникационной компанией, имеющей доступ к подробным данным о поведенческих показателях, таких как количество звонков, совершенных клиентами за последний месяц, количество отправленных ими текстовых сообщений, гигабайты загруженных данных и т.д. Данные для этой компании показали, что то, как недавно клиент в последний раз взаимодействовал с компанией, предсказывало уровень риска оттока, но не влияло на его чувствительность к мерам по предотвращению оттока. Действительно предсказывало чувствительность использование данных – это говорит о том, что для максимизации рентабельности инвестиций компании следует направить свою кампанию по удержанию не на тех клиентов, которые давно не вовлекались, а на тех, кто использует больше всего данных.
Переход от прогнозов к предписаниям
Что же это значит для маркетологов? Ключевой момент заключается в том, что маркетинговые меры должны быть направлены на ожидаемую реакцию каждого клиента на эти меры, а не на то, что, как ожидается, клиенты будут делать в отсутствие этих мер. В некотором смысле маркетологи похожи на врачей: врачи не просто назначают случайное лечение пациентам, которые, скорее всего, умрут – они назначают конкретное лечение пациентам, которые, скорее всего, положительно отреагируют на это лечение.
Вместо того чтобы пытаться предсказать, как поступят клиенты (т.е. пытаться определить их риск оттока), маркетологи должны сосредоточиться на том, как различные типы клиентов будут реагировать на конкретные кампании, а затем разрабатывать кампании, которые с наибольшей вероятностью будут эффективны для снижения оттока среди данной группы клиентов. Компании должны использовать данные A/B-тестирования не только для того, чтобы попытаться измерить общую эффективность кампании среди всех клиентов, но и для изучения того, какие типы клиентов будут наиболее чувствительны к определенным мерам воздействия. Это означает объединение архивных транзакционных и демографических данных клиентов с данными, собранными в ходе A/B-тестирования, для определения поведения и черт, которые делают клиента наиболее склонным реагировать на определенное вмешательство. К счастью, многие компании уже собирают все эти данные – просто необходимо использовать их по-новому.
Концепция целенаправленных маркетинговых кампаний не нова, но очень важно тщательно продумать, как вы принимаете эти целенаправленные решения. Вместо того чтобы просто гадать, какие факторы могут указывать на то, что кто-то является нужной целью, или фокусироваться на группе, которая считается приоритетной (например, клиенты с высоким риском оттока), компаниям следует ориентироваться на клиентов, которые будут наиболее чувствительны к конкретному вмешательству, которое они осуществляют. Для максимизации ROI маркетологам необходимо перестать задаваться вопросом: «Эффективно ли это вмешательство?», - и начать задаваться вопросом, - «Для кого это вмешательство наиболее эффективно?», - и затем настраивать таргетинг для своих кампаний соответствующим образом.
Статья опубликована при поддержке клуба предпринимателей и руководителей Club.org.
Источник: https://hbr.org/2021/06/research-when-a-b-testing-doesnt-tell-you-the-whole-story