Во многих компаниях существуют системы рассылки, например, пуш-уведомления, либо email-рассылки. Тематика бывает разной, но чаще всего это презентация какой-либо акции, новых товаров, подписки. И всё это реактивация или попытка увеличить активность своих клиентов. Для оценки эффективности рассылки обычно смотрят, увеличился ли доход в группе, в которой происходила рассылка, относительно контрольной группы. Это тот вариант, когда аналитики выбирают только один показатель. ARPU пользователя с рассылкой тестовой группы сравнивают с ARPU пользователя без рассылки контрольной группы.
Проблема в том, что со временем рассылок становится всё больше и пользователь начинает уставать от них. В группе может расти ARPU, но есть контр-метрика ― это, например, отписки или количество негативных фидбеков. Кажется, что хороший OEC (глобальный критерий) в данном случае ― это баланс между метриками доходности и метриками негативных последствий (например, оттока пользователей) от прошедшей рассылки.
В компании Amazon придумали OEC для таких экспериментов.
OEC состоит из двух компонентов: сумма по всем пользователям (Revenue) минус количество пользователей, отписавшихся от рассылок или от сервиса, умноженное на средний потерянный доход (доход, который компания теряет в случае отписки пользователя с определенного дня).
OEC на примере интернет-магазина.
В интернет-магазине сть рассылки. Прежде чем определять OEC, необходимо на исторических данных рассчитать потери из-за отмены подписки:
- Посчитать LTV по всем пользователям на каждый день. Это будет кривая, похожая на Retention, либо, если считать это кумулятивно, получится кривая прироста LTV в зависимости от дня. Так становится ясно, какой объем дохода в среднем теряется, если с определенной даты пользователь перестает быть активным в продукте.
- Далее нужно посчитать OEC по историческим данным, чтобы определить нужный размер выборки.
- Затем следует разработать подходящий для эксперимента дизайн, время его проведения и параметры выборки, поделить пользователей и разбить их на группы рандомно. Тестовая группа будет получать рассылку пуш-уведомлений, а контрольная группа будет жить без рассылок. По каждому пользователю в каждой из групп нужно посчитать всю выручку за период проведения теста, а также учесть, сколько пользователей отписались от рассылок за это время.
Например, было 10 000 пользователей в тестовой группе, 100 человек отписалось в группе А и 50 ― в группе B. Важно посчитать, на какой Retention день отписался каждый пользователь. Это нужно, чтобы более точно посчитать объем потерянного LTV не в среднем, а именно с какого-то конкретного дня.
Например, плохо, если пользователь отписался от рассылок на второй день, а вот если на 60-й, то он успел принести компании довольно много LTV и компания теряет меньше. Далее считаем OEC по каждому пользователю, а затем с помощью статистики определяем, есть ли статистически значимый прирост на уровне заданного MDE (граничное значение эффекта, ради которого имеет смысл вводить какие-то изменения), мощности и статистической значимости.
Немного подробнее про OEC.
OEC (Overall Evaluation Criterion) или глобальный критерий оценки. Объединение всех компромиссов и метрик в одну. Это одна метрика, в которой аналитики соединяют плюсы и минусы и именно по ней определяют успешность эксперимента. Основное преимущество этой метрики в том, что она наиболее полно описывает взаимосвязи (компромиссы), но подобрать ее трудно, ее труднее считать и бизнесу не всегда понятен составной критерий, содержащий множество математических расчетов.
Универсальных OEC, которые подходили бы для любых тестов или любых компаний, обычно не бывает, потому что OEC ― это попытка конкретной предметной области компании найти компромисс метрик движущих сил. Один из вариантов унификации OEC ― взвешивание и нормализация ключевых показателей.
Например, если есть 5 показателей, аналитики их нормализуют, то есть приводят к шкале от 0 до 1 или к шкале от -3 до +3 в случае Z-преобразования. Также аналитики перевзвешивают показатели, определяя, какой более важен, а какой менее. В результате можно придумать комбинированный унифицированный OEC.