Самая большая ошибка в A/B тестировании, о которой почти никто не думает

Самая большая ошибка в A/B тестировании, о которой почти никто не думает

Обычно A/B тесты запускают в самом начале продвижения. Когда еще нет ни стратегии, ни понимания, как будет продвигаться товар.

Просто заливают какой-то трафик, чаще всего через ручную кампанию, и начинают мерить CTR. Классическая история.

А потом через пару месяцев внезапно выясняется, что выбранный кадр для обложки вообще не работает. Но, не от слова совсем😎

Знакомо?

Проблема, как ни странно, в порядке действий.

Сначала нужно понять, как и где вы будете продвигаться.

И только потом делать A/B тесты.

Пример.

Вы решили продавать женские джинсы, но не как у всех. Лучше по качеству, ну и дороже.

Средняя цена на WB 1500–3000₽. А ваши джинсы по 4500₽.

Запускаете трафик из поиска, делаете A/B тест, выбираете «лучший» кадр и спокойно себе продолжаете работать.

Но если посмотреть выдачу, там почти все модели по 1000–3000₽.

Получается, что во время теста ваше окружение вообще не соответствовало реальности вашего товара и CTR был не просто занижен, сама целевая аудитория была не та.

Если копнуть глубже, окажется, что дорогие модели чаще продаются не из поиска, а за счет полок и внешнего трафика. Именно в полках у них нормальное окружение.

Более того, алгоритм сейчас все чаще учитывает ценовые сегменты. Дорогие товары начинают конкурировать между собой, а не с дешевыми. И как ни странно именно в полках на такие случаи сложилась наиболее благоприятная среда.

Что это значит?

Если бы вы изначально гнали трафик для A/B теста из полок, вы бы тестировали обложки в адекватной среде, в окружении похожих качественных и дорогих джинсов. А значит получили бы скорее всего другие результаты.

Важно понять простую вещь. A/B тест это не только про сравнение креативов. Это еще и про то, в каком окружении пользователь их видит.

И реакция на карточку напрямую зависит от этого окружения.

Поэтому правильный A/B тест это не просто одинаковая аудитория. Это подходящая аудитория под ваш товар.

Можно продолжать делать как раньше.

А можно потратить 20 минут на небольшой ресерч рынка перед тестом и понять, откуда гнать трафик, это одно из самых простых действий, которое реально может влиять на результат.

Но это всего лишь совет. Не благодарите.

Я в Max.