При просмотре вебинаров, чтении статей и даже на платных курсах по лендингам, контекстной рекламе и веб-аналитике, я не раз слышал рекомендацию постоянно проводить A/B-тестирование посадочной страницы (лендинга).
Далее автор обычно указывал, какие элементы на лендинге надо тестировать – заголовок, кнопку CTA, изображение и т.д. Однако, редко кто упоминал, что у A/B-тестирования есть серьезные ограничения. Сначала я не придавал им значения, пока лично не столкнулся с проблемами на практике.
В этой статье я выделил 3 больших ошибки при проведении A/B-теста, о которых хочу рассказать.
Ошибка 1. Проведение A/B-теста на неоднородном трафике
Если проанализировать трафик, который поступает на лендинг, то можно сделать вывод, что пользователи очень непохожи друг на друга.
Например, те, кто пришел с контекстной рекламы в сетях (РСЯ или КМС) интересовались вашим продуктом ранее и не планировали делать заказ в данный момент. Они просматривали другой сайт (чаще всего отдаленной тематики), пока не увидели ваше объявление. У них отложенный спрос. Это холодный клиент.
Другая группа пользователей – те, кто попал на лендинг с поисковых контекстных кампаний. Т.е. они ввели запрос в поисковой системе, увидели ваше объявление и перешли на лендинг. Такие пользователи интересуются вашим продуктом в данный момент времени и, возможно, готовы заказать прямо сейчас. Это теплые или горячие клиенты.
А теперь представьте ситуацию, что при проведении A/B-теста к вам на лендинг приходят пользователи с разных типов контекстных кампаний (как из поиска, так и из сетей). В результате на версию А может попасть 70% изначально холодных клиентов, а на версию B – 70% теплых и горячих. Версия B получит выгодные условия с точки зрения конверсии страницы, потому что на нее пришли более мотивированные пользователи.
В этом случае, какой бы элемент лендинга вы не тестировали, результаты могут быть сильно искажены из-за неоднородного трафика.
Вывод: для разных типов кампаний проводите тесты независимо.
Но и это еще не все! В поисковой контекстной рекламе обычно используется большое количество ключевых фраз, чтобы показывать объявления по соответствующим запросам. Пользователей, которые вводят различные запросы, также можно делить на горячих и теплых. Помогают в этом слова-маркеры, такие как купить, цена, стоимость – их вводят горячие клиенты.
Попробуйте сгруппировать ключевые фразы по признаку теплый/горячий. Создайте отдельную рекламную кампанию только для горячих запросов и проводите тест отдельно по ней. Тогда влияние неоднородного трафика на результаты теста будет минимальным.
Ошибка 2. Проведение A/B-теста при низком трафике
Не редкой бывает ситуация, когда за день на лендинг приходит менее 10 уникальных посетителей. Связано это либо с узкой тематикой, либо с ограничением в бюджете.
Нужно ли в этом случае проводить A/B-тест? Некоторые специалисты его делают.
В итоге и без того малое количество трафика делится между двумя лендингами. Спустя месяц такого теста, результаты бывают удручающими – 3-4 конверсии у одного лендинга и 2 у другого.
Для того, чтобы получить статистически значимые результаты (о статической значимости читайте ниже), тест придется проводить полгода, а то и больше. Это абсолютно бессмысленное занятие, потому что влияние внешних факторов (например, сезонность, экономическая обстановка и т.д.) будет искажать окончательные результаты.
Вывод: при низком трафике не проводите A/B-тест.
Ошибка 3. Подведение результатов A/B-теста без учета статистической значимости
Предположим, что A/B-тест проведен. На каждой из версий лендинга было около 1 000 уникальных посетителей. Версия A получила 65 конверсий, версия B – 80 конверсий. Можно ли сделать вывод, что вторая версия работает лучше? Нет, это ошибка!
При подведении итогов A/B-теста необходимо убедиться, что полученные результаты являются статистически значимыми.
Что это такое? Приведу еще один пример.
Представьте ситуацию, что вы проводите тест между двумя абсолютно одинаковыми лендингами (A/A-тест). Получат ли в этом случае идентичные лендинги одинаковое количество конверсий? Такая вероятность есть, но она крайне мала. Скорее всего количество конверсий будет разным. В чем причина? Все просто – это случайный результат.
Чтобы уменьшить вероятность случайных результатов, проверьте достоверность A/B-тестирования.
Для этого рекомендую воспользоваться одним из доступных онлайн-калькуляторов, которые можно найти в поиске по запросу калькулятор достоверности аб теста.
Результаты можно считать достоверными при уровне статистической значимости >95%. Это означает, что при повторном проведении теста вы получите одинаковые результаты в 95 случаях из 100.
Кратко о сути
Я был свидетелем и участником A/B-тестов, которые проводились с ошибками, о которых я написал выше. Поэтому, могу утверждать, что достаточно часто A/B-тесты проводятся неверно, особенно, если выполняют их начинающие специалисты.
Прежде чем проводить A/B-тест, оцените, сколько однородного трафика вы можете получить (в идеале это должны быть посетители, которые ввели одинаковый запрос на поиске). Если трафика мало – не проводите A/B-тест, это бессмысленно. Если достаточно – действуйте.
Проверяйте статистическую значимость результатов. Только на основе статистически достоверных результатов можно принимать решения об эффективности изменений на лендинге.
Сказанное выше, актуально не только для лендингов, но и для обычных сайтов.
Желаю успехов при проведении A/B-тестов!
Рекомендую к прочтению мои статьи для начинающих специалистов и всех, кто начинает продвигать свой товар или услугу в интернете: