Цель тестирования - сделать правильные выводы. И принять правильное решение, которое даст рост продаж, а не наоборот.
Сегодня пост о том, как избежать ошибок при тестах и при интерпретации результатов. Потому что не редко продающие обложки выкидывают, а бесполезные выигрывают. Здесь пример.
А цена ошибки в тестах высока. Вы можете увеличить продажи в несколько раз, а можете уйти в минус.
Какие есть нюансы:
1️⃣ Данные - первичные или вторичные.
Последние дни мне постоянно попадается информация о новых сервисах тестирования CTR. Мы один даже попробовали - показывает не только CTR, но и корзины с заказами. Чудо же. Только показывает не правильно. Утром все корзины и заказы приписывались одной обложке, потом стали скопом другой. Так не бывает.
Проблема в том, что у ВБ свои, первичные данные и ВБ знает - к какой обложке отнести конверсии. А все сервисы имеют вторичные данные, причем не полные (всех взаимосвязей ВБ и Озон не отдают). Поэтому показывать они могут и корзины, и заказы, но верить этому сложно. Даже Маркет Гуру не умеет корректно показывать заказы при АБ тестах, что уж говорить о других.
Поэтому я лично не берусь делать окончательные выводы по тестам сторонних сервисов. Только в случаях, о которых было здесь.
2️⃣ Достаточный объем показов. Много раз писала, что для теста CTR нужно минимум 5000 показов, а для теста воронки кратно больше. Чем ниже ваши конверсии, тем больше нужно данных. Иначе вы не узнаете, как обложка повлияла на продажи. А случайность примете за закономерность.
3️⃣ Где показы. Это тоже беда внешних сервисов, которые берут только данные из рекламы. А в других источниках всё может быть иначе.
4️⃣ Динамика. Бывают тесты, когда всё ровно. Неделю тестируем - CTR, в корзину, в заказ стабильны, и один из вариантов стабильно лучше. Но это скорее исключение. Чаще днем лучше один, вечером - другой, в понедельник - один, в выходные - другой. А конверсии в корзину и заказ ведут себя как при идеальном шторме.
Средние значения в таком случае - средняя температура по больнице, мало что дают. Надо включать голову и искать закономерности. Часто дело бывает в поведении ЦА - утром в автобусе лучше одна обложка, а вечером в темноте - другая. Или вы рекламу перенастроили, цены изменили. И если всю разницу дал 1 аномальный день - не надо его учитывать.
5️⃣ Широкая аналитика. Бывает так - тест вроде бы не показывает ничего особенного. Но вдруг у вас выросли показы, позиции или конверсии по определенным запросам, а лучше сразу продажи. Просто алгоритмам подошла ваша новая обложка для каких-то целей - в полках у кого-то, по какому-то запросу, на главной, вариантов масса.
Снова включаем голову и думаем, как это использовать, а лучше масштабировать. А если только цифры теста смотреть, можно упустить самое интересное. Поэтому вместе с тестом нужно и другую аналитику смотреть.
6️⃣ Насмотренность. Надо много раз наступить на грабли, чтобы научиться интерпретировать результаты.
Свежий пример. Все выходные шло тестирование, у обложки Б заказов на 50% больше. Отключаем тест? Нет, потому что больше за счет конверсии в заказ, а обложка А сделана под эстетов (у них конверсии в заказ часто запаздывают на пару дней). Так и вышло - обложка А догнала, конверсии сравнялись. Если бы я не видела такое много раз, не поднялась бы рука терять продажи - тест остановили бы.
7️⃣ Постепенное влияние. Настоящий эффект (и положительный, и отрицательный) вы увидите не сразу. Небольшой рост конверсий постепенно улучшит позиции и показы, а там будут еще выше конверсии, и далее по кругу - в итоге существенный рост. Так и небольшой спад, например, в конверсии в корзину вы сразу не заметите, а через месяц увидите большой минус в продажах.
Как резюме:
📍 Замерять только CTR мало, для роста продаж нужна вся воронка.
📍 Данные самих МП достовернее, что бы ни говорили сервисы.
📍 Аналитика, опыт и мозги - очень нужны, чтобы сделать правильные выводы.
📍 Заменили обложку или внутренние слайды - мониторьте все показатели хотя бы месяц.
Больше полезных материалов о карточках, конверсии, SEO, воронках на маркетплейсах читайте в Телеграм канале 20 тысяч часов Екома.