36 подписчиков
А/B-тестирование
Если перед вами поставлена задача понять, оказывает ли ваше внедрение нужный, положительный эффект на систему, во многих задачах для этого подойдет АБ-тестирование, суть которого следующая:
Вы создаете две или более версии вашей системы, одна контрольная, другие тестируемые. Затем в один и тот же период времени запускаете их на пользователей, разделяя исследуемые выборки максимально репрезентативно потоку, обычно в равных количествах. В результате для любой метрики вы имеете минимум два значения: одно в контрольной части, другое в экспериментальной. Затем, обычно сравнивают разницу средних (но не всегда это лучший вариант) полученных значений метрик и делают вывод, меняет ли экспериментальная версия указанные метрики, в какую сторону, или нет. Основные преимущества АБТ в том, что если имеются сезонные или другие зависимости, то при сравнении А и Б частей они нивелируются. Разница в метриках образуется или из-за ваших изменений, или статистических отклонений.
Для успешного A/B:
1) Настройте эксперимент.
2) Запустите тест и запишите показатель успешности для каждой группы.
3) Постройте график распределения разности между двумя выборками.
4) Рассчитайте статистическую мощность.
5) Оцените, как размер выборки влияет на тесты A/B.
Вот отличная статья с обьяснениями, формулами и кодом на питоне для ABt.
1 минута
5 сентября 2022