Что такое A/B-тест
A/B-тест (он же A/B-эксперимент) — это инструмент, который позволяет делать надёжные выводы о влиянии изменения на продукт, за счёт использования статистических методов и параллельного сбора данных для сравниваемых групп.
Терминология A/B-тестирования
- Контроль (группа контроля, контрольная группа) — это группа пользователей, для которых не вводят изменений. В нашем примере — это пользователи, которые увидят старый вариант чекаута.
- Тест (группа теста, тестовая группа) — это группа пользователей, для которых вводят тестируемое изменение. В нашем примере — это пользователи, которые увидят новый экран чекаута.
- Тритмент (англ. treatment — лечение) — это изменение, которое вводят для тестовой группы. В нашем случае это вид экрана чекаута.
- Фича (англ. feature — особенность) — похожий по значению на «тритмент», но более общий термин, который используется в IT-компаниях для обозначения нового функционала в продукте.
- Раскатить фичу — ввести изменение для всех пользователей или для части.
- Метрика — показатель, изменение которого анализируют по результатам эксперимента. Например, прибыль с пользователя или количество заказов.
- Зелёный тест — эксперимент, по результатам которого зафиксировали статистически значимый прирост метрики.
- Красный тест — эксперимент, по результатам которого зафиксировали статистически значимое падение метрики.
- Серый тест — эксперимент, по результатам которого не зафиксировали статистически значимого изменения метрики.
Последовательность шагов при проведении A/B-тестирования
A/B-эксперимент проводят в такой последовательности:
- Выбираем метрики и формулируем гипотезы.
- Выбираем способ рандомизации и определяем параметры выборки.
- Определяем необходимый размер выборки.
- Запускаем эксперимент и собираем данные.
- Проверяем валидность эксперимента.
- Рассчитываем результаты и принимаем решение о раскатке фичи.
Сетевым эффектом называют ситуацию, когда поведение одних пользователей в рамках A/B-теста может влиять на поведение других пользователей.
Количественные метрики
Типы метрик
Все метрики можно разделить на три группы:
- количественные;
- конверсионные;
- метрики-отношения.
Количественные метрики
В эту группу попадает большая часть метрик, на которые смотрит бизнес. Примерами таких метрик могут быть:
- денежные метрики — выручка, валовая прибыль, чистая прибыль;
- количественные метрики — количество созданных заказов, количество выкупленных заказов, количество заказанных вещей;
- технические метрики — время загрузки страницы, количество неудачных загрузок страницы.
ARPU — основной показатель оценки того, как эффективно бизнес монетизирует деятельность.
ARPU=ARPPU⋅Payingshare,
где Paying share — это доля пользователей, совершивших покупку.
Конверсии и метрики-отношения
Конверсия (англ. Conversion Rate, CR) — процент пользователей, совершивших целевое действие.
Метрики, единица анализа которых отличается от единицы рандомизации, выбранной в рамках эксперимента, называют метриками-отношениями или ratio-метриками (англ. ratio — отношение).
MDE и мощность
Вероятность ошибки первого рода, αα — это вероятность зафиксировать эффект там, где его на самом деле нет.
Вероятность ошибки второго рода, ββ — это вероятность не зафиксировать эффект там, где он на самом деле есть.
Мощность, 1−β1−β — это вероятность зафиксировать эффект там, где он на самом деле есть. Мощность также часто называют чувствительностью теста.
Объём групп и продолжительность теста
Эффект накопления метрик — явление, при котором значение метрики на пользователя растёт со временем, что приводит к увеличению её математического ожидания и дисперсии.
Проверка валидности эксперимента
A/A-тест — это A/B-тест, применённый в ситуации, когда мы не ожидаем получить статистически значимых различий между группами.
SRM (англ. Sample Ratio Mismatch — несоответствие пропорции выборки) — это ситуация, при которой полученная пропорция размеров тестовой и контрольной групп отличается от ожидаемой.
Расчёт и интерпретация результатов
Напомним, результат теста может быть таким:
- зафиксировали статистически значимый прирост метрики — тест зелёный;
- зафиксировали статистически значимое падение метрики — тест красный;
- не зафиксировали статистически значимого изменения метрики — тест серый.
Доверительный интервал в рамках A/B-тестирования — это интервал, который с заданным уровнем доверия содержит в себе неизвестный параметр, в нашем случае — истинную разность математических ожиданий.