A/B-тесты созданы для того, чтобы находить лучшую стратегию для digital-продукта, сравнивая и определять, какая приносит компании больше переходов, заявок или продаж.
Например, с помощью A/B-тестов можно выяснить, что зелёную кнопку «Забронировать» нажимают чаще, чем красную, а функциональный блок с УТП локации лучше «поднять» на обложку посадочной старницы.
Таким образом, A/B-тесты помогают выявить недочеты креативов, повысить конверсию посадочных страниц, увеличить количество регистраций и т.д. Для проведения тестирования трафик-менеджеры используют специальные площадки.
Мы не будет излагать сложную теорию о принципах работы А/B-тестирования. Сделаем проще: разберем, как работает инструмент на примере.
1. Определяем цель на основе исходных данных
Незадолго до проведения А/B-теста наша команда запустила посадочную страницу для квартала комфорт-класса Balance.
В процессе исследования воронки мы заметили, что 80% пользователей уходят практически сразу после перехода на лендинг, не совершив целевого действия.
Маркетологи предположили, что проблема в основном оффере и предложили протестировать альтернативу.
Действующий вариант заголовка — «Квартиры от 4,2 млн рублей».
Предлагаемый вариант для сравнения — минимальная сумма ежемесячного платежа «Квартиры от 10 850 рублей в месяц».
Версии посадочных страниц идентичны за исключением заголовка. В данном случае только офферы могут повлиять на поведение пользователей.
2. Выбираем переменную для проверки
Затем мы определили метрику — коэффициент конверсии. Именно он будет служить для нас идентификатором того, является ли новая версия лендинга более успешной.
3. Разрабатываем гипотезу
Необходимо понимать, что именно должно измениться в ходе проверки, какие результаты мы ожидаем увидеть и какие у них могут быть обоснования.
Общая гипотеза заключается в следующем: если изменить текст А на главном баннере лендинга, то больше пользователей будет кликать по кнопке «Получить презентацию», так как новый оффер В будет более привлекателен.
Нулевая гипотеза предполагает, что результаты А и В не отличаются и наблюдаемые различия случайны.
Альтернативная гипотеза — это предположение, что B отличается от A, и наши маркетологи и трафик-менеджеры планируют сделать вывод об ее истинности.
Двусторонний тест позволит обнаружить изменения по двум направлениям — положительному и отрицательному.
4. Готовим эксперимент
Для того чтобы тестирование было корректным:
- Создаем второй лендинг с заголовком B, который мы хотим протестировать.
- Определяем контрольную и экспериментальную группы. Первая видит лендинг со старым заголовком, вторая — с новым. В нашем А/B-тестировании эти группы одинакового размера.
- Убеждаемся, что пользователи будут видеть версии A и B в случайном порядке. Это значит, у каждого будет равный шанс получить ту или иную версию.
- Проверяем уровень статистической значимости. Этот показатель характеризует разницу между результатами контрольной и экспериментальной групп, обусловленную случайностью. Стандартный порог значимости — 0,05, то есть в 5% случаев отклонения не имеют ценности для эксперимента. Встроенные в платформы калькуляторы помогут его рассчитать.
- Задаем минимальный размер выборки 500. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов.
- Определяем временные рамки и запускаем тестирование. Берем общий размер выборки — 2000 и делим его на ежедневный трафик. Получаем ХХ дней — такое количество необходимо для проведения теста.
5. Самое интересное. Анализируем результаты
Победил заголовок «Квартиры от 10 850 рублей в месяц». A/B-тест подтвердил вашу гипотезу о лучшей производительности версии B. Конверсия первого лендинга составила 1,5%, второго — 3,2%.
A/B-тестирование — универсальный, надежный и проверенный метод маркетингового исследования. При соблюдении условий проведения, можно получить объективное понимание, как улучшить продукт.
Тем не менее не следует рассчитывать только на данный метод, часто причины низкой конверсии не лежат на поверхности.
Для получения максимально объективных данных A/B-тестирование нужно комбинировать с другими маркетинговыми исследованиями. Специалисты отдела трафика 1GT помогут вам проверить ваши гипотезы, провести дополнительные исследование и успешно запустить рекламу.