А/Б-тест, он же сплит-тест, это простой, но эффективный инструмент маркетолога. Вы берёте два варианта чего-нибудь, преподносите их двум аудиториям с одинаковыми характеристиками и смотрите, на какой вариант будет лучше реакция. Зачем это нужно? Чтобы повысить конверсию. Например, в рекламных креативах любая деталь может привлечь или оттолкнуть пользователей.
Большинство маркетологов и работников этой сферы уверены, что есть всего один вид А/Б-теста. Тот, что мы описали вначале.
Но есть и другой – более сложный, зато и тактически выгодный метод. Он называется байесовское тестирование.
Чем оно отличается от обычного?
То, что мы чаще всего делаем, это частотный подход: результаты оцениваем по количеству определённых действий (то есть по метрикам). Например, вы тестируете креативы с разными CTA-элементами в контекстной рекламе. Здесь показателем успешности будет количество кликов. А в байесовском тесте всё по-другому.
Вы делаете выводы из анализа не только текущих данных, но и информации о предыдущих экспериментах. По сути, вы тестируете, тестируете, тестируете, пока не соберёте достаточно информации, и только тогда принимаете определённые решения.
Как это работает?
Давайте разберём процесс на конкретном примере. Допустим, одно объявление привлекло 867 уникальных посетителей и получило 360 конверсий. Коэффициент конверсии – 41%. По этим данным мы предполагаем, что если получится привлечь 5 000 уникальных посетителей, то конверсий будет 2050. Возьмём это объявление как вариант А.
Посмотрим на похожую рекламу, каким-то элементом отличающуюся от первой. У неё коэффициент конверсии – 52%. Это будет наш вариант Б. Для частотного метода этих данных было бы достаточно. Но мы пойдём дальше.
Задайте себе вопрос: «Насколько велика вероятность, что Б получит больше конверсий, чем А?» В этом случае, вероятность 9%. А теперь приступайте к череде проб и ошибок. Байесовский анализ – это выводы, основанные на предположениях. Вы можете рассчитать ожидаемое снижение метрик при выборе конкретного варианта. Установите себе лимит понижения, например, 2%. Как только метрика по варианту Х опустится ниже, вы можете смело говорить, что победила другая опция.
Не ставьте больших лимитов, здесь нужно оперировать более тонкими категориями, чем с частотным подходом. Байесовская методология подразумевает, что вы можете жертвовать снижением показателей только в сжатых рамках. Так вы сможете избежать необдуманных экспериментов и крупных ошибок.
И ещё раз. Вот ваш алгоритм: запускаете тест – показатель по одному из вариантов опускается на 2 процента – останавливаете этот тест – начинаете новый. И так, пока показатели не начнут стабильно расти.
Преимущества байесовского подхода
Во время такого тестирования вы можете постоянно изменять варианты в лучшую сторону. Здесь вывод – это не результат, а информация к размышлению и использованию в следующем цикле.
Если вы хотите потестировать разные каналы или инструменты, менять их в процессе не надо. Вместо этого поиграйте с разными функциями, чтобы получить более вычисляемые результаты.
Традиционный А/Б-тест стоит заменить байесовским, если вы хотите учесть больше показателей в своих выводах. С его помощью удобнее просчитывать, например, рентабельность инвестиций в рекламу. Но, конечно, этот метод требует больше времени и больше усилий.
В конце концов, какой бы метод вы ни выбрали, всегда помните о потенциале А/Б-тестирования. Это практически универсальный способ прощупывания аудитории, который в любой форме принесёт вам массу полезных данных.
Смотрите также:
Зачем нужная тестовая рекламная компания в соцсетях
Подробное руководство по проведению маркетингового исследования
Анализ конкурентов в соцсетях