Что такое A/B-тестирование и зачем его проводить?
По сути это рандомизированный эксперимент, чаще всего с двумя вариантами – A и B, которые должны выявить более выигрышный вариант письма или веб-страницы. AB-тесты проводят на двух равных контрольных группах клиентов, на которые они разбиваются случайным образом. Им приходят письма или показываются страницы с одним или несколькими измененными элементами (например, размер, цвет и расположение кнопки, альтернативная тема письма, начало его с обращения к клиенту по имени).
AB-тест нужен, чтобы выявить, какие изменения улучшают выбранный целевой показатель – коэффициент открываемости (open rate), кликабельности (click rate) или конвертируемости (conversion rate) рассылки.
Как это работает?
Для проведения AB-тестирования нужно сделать 4 шага:
1. Сформулировать гипотезу
2. Определить метрику, то есть понять, какой целевой показатель вы хотите улучшить (open rate, click rate, conversion rate)
3. Посчитать размер выборки – сколько людей должно принять участие в тесте
4. Запустить тест, завершить его и проверить результат
Чтобы разобраться с цифрами и подготовиться к заключительному этапу – запуску теста, используйте калькулятор достоверности AB-тестирования. Это удобно и сэкономит ваше время. Такой калькулятор есть у платформы Mindbox. Также можно почитать гид на английском.
Как понять, что пришло время завершить тест? Когда вы наберёте нужное количество человек, указанное в выборке, тест можно выключать.
Проверьте полученные результаты на калькуляторе. Лучше, если вы выставите уровень достоверности не ниже 90%.