A/B-тесты и контрольные группы - что, зачем и как?

Что такое A/B-тестирование и зачем его проводить?

Предположим, вы владелец интернет-магазина, обучающего ресурса или любого другого бизнеса. Чтобы понять, как целевая аудитория откликается на письма вашей рассылки, дизайн сайта или лендинга, используют такой инструмент e-mail маркетинга, как A/B-тестирование.

По сути это рандомизированный эксперимент, чаще всего с двумя вариантами – A и B, которые должны выявить более выигрышный вариант письма или веб-страницы. AB-тесты проводят на двух равных контрольных группах клиентов, на которые они разбиваются случайным образом. Им приходят письма или показываются страницы с одним или несколькими измененными элементами (например, размер, цвет и расположение кнопки, альтернативная тема письма, начало его с обращения к клиенту по имени).

AB-тест нужен, чтобы выявить, какие изменения улучшают выбранный целевой показатель – коэффициент открываемости (open rate), кликабельности (click rate) или конвертируемости (conversion rate) рассылки.

Как это работает?

Для проведения AB-тестирования нужно сделать 4 шага:

1. Сформулировать гипотезу

2. Определить метрику, то есть понять, какой целевой показатель вы хотите улучшить (open rate, click rate, conversion rate)

3. Посчитать размер выборки – сколько людей должно принять участие в тесте

4. Запустить тест, завершить его и проверить результат

Чтобы разобраться с цифрами и подготовиться к заключительному этапу – запуску теста, используйте калькулятор достоверности AB-тестирования. Это удобно и сэкономит ваше время. Такой калькулятор есть у платформы Mindbox. Также можно почитать гид на английском.

Как понять, что пришло время завершить тест? Когда вы наберёте нужное количество человек, указанное в выборке, тест можно выключать.

Проверьте полученные результаты на калькуляторе. Лучше, если вы выставите уровень достоверности не ниже 90%.