A/B - тест - это маркетинговый инструмент, который позволяет с математической точностью сравнить две или более контрольные группы, отличающиеся по одному параметру. Сравнение производится по выбранной метрике (показателю), которая зависит от выбранного параметра. Например, мы можем определить у какого из заголовков выше CTR, какой дизайн сайта имеет большую конверсию, какая из тем в email-рассылке дает лучшую открываемость.
Можно тестировать все. Но, к сожалению, не любой показатель поддается корректному измерению. Чтобы провести точный эксперимент и быть уверенным в его результатах, следует придерживаться простых правил:
1) Чаще всего при тестировании мы разделяем пользователей на два контрольные группы. Затем, чтобы корректно провести A/B - тестирование, мы должны исключить влияние других показателей. В идеальной ситуации контрольные группы должны отличаться лишь одним (тестируемым) параметром. Это первое правило.
2) Мы должны добиться статистической значимости. То есть количество событий в каждой из контрольной группы должно быть больше определенного числа (посчитаем его ниже)
Со сложной теорией закончили. Можете расслабиться. Теперь перейдем непосредственно к применению в таргетированной рекламе. Здесь наш главный показатель - CTR. От него в итоге зависит цена клика, стоимость лида. Опираясь на него мы делаем выводы об рекламных креативах и аудиториях. Иногда по CTR можно оценить и уровень компетенций таргетолога :)
Тестировать мы можем две вещи: аудитории и рекламные креативы (тизеры/баннеры/видео). Поэтому и существует две стратегии: тестирование аудиторий и тестирование рекламных креативов. На них подробнее мы и остановимся.
Начнем с тестирования аудиторий. Чтобы выполнить правила тестирования и быть уверенными в результаты мы исключаем влияние, по возможности, всех других параметров. Мы создаем две непересекающиеся(!) аудитории. Показываем рекламу в одно и то же время. Используем одни и те же рекламные креативы. Особенность данной стратегии в том, что мы заранее не сможем определить размер статистически значимой выборки. Поэтому используем следующий алгоритм:
1) Создаем аудитории, объявления, задаем один уровень ставка (например, 80% от рекомендуемой) и запускаем
2) Накапливаем какое-либо количество данных, но не менее 10 кликов на аудиторию.
3) Используем калькулятор по ссылке ниже:
Калькулятор
В столбце Trials мы вводим наши данные по охвату, а в столбце Successes мы вводим число кликов.
Столбец Apprx probability of being best показывает вероятность того, что данная аудитория лучше остальных. Советую использовать уровень не менее 90% (как на примере выше). В данном случае это означает, что с вероятностью 90% наша аудитория A лучше аудитории B.
4) Если уровень 90% получен, то тест считаем завершенным. Если нет, то продолжаем тестирования до тех пор, пока не накопятся нужные данные.
Тестирование рекламных креативов. Здесь, как в при любом корректном тестировании, нам необходимо исключить влияние всех остальных параметров. При данном подходе мы можем предварительно оценить результаты тестирования. Для этого используем калькулятор ниже:
Калькулятор
Statistical power 1-𝜷 - % случаев, когда тест найдет минимально необходимый эффект, когда такой имеет место быть. То есть достоверность нашего измерения.
Significance level α - % случаев, когда тест найдет разницу в вариантах, в то время как ее нет. Например, мы определили, что победитель 1, а в действительности настоящий победитель - 2.
Здесь:
Baseline conversion rate - базовый уровень CTR, который был изначально.
Minimum detectable effect - минимальный уровень изменений, который ожидается, благодаря нашему новому подходу.
Я рекомендую использовать “Relative”, то есть относительный уровень изменения.
Как повлияют изменения, исходя из моего опыта работы:
1) Изменение визуальной части (картинка/баннер/видео) - 60%
2) Заголовок - 40%
3) Текст объявления/текст кнопки - 20%
Если вы решили изменить два или более составляющих рекламного объявления, то берете больший процент изменения.
Таким методом мы определили размер минимальной выборки (охват) для каждого из вариантов. Другими словами, не стоит принимать решение, пока на каждое из рекламных объявлений не соберется достаточное количество показов.
Вы должно быть уже догадались, что чем меньший эффект дают изменения креативы, тем больше нам нужна аудитория, а значит и денег на тестирование. По этой причине не стоит заниматься “улучшениями” которые могут дать лишь небольшой прирост.
Случаются ситуации, когда размер аудитории небольшой и при ее разделение мы получаем чрезмерно малые объемы. Тогда мы прибегаем к следующей хитрости. Создаем две рекламные кампании на одну аудиторию,используем разные рекламные креативы. Ставим ограничение показов 1/24 (не чаще одного раза за 24 часа). Ставим одинаковую ставку. Да, в таком случае кампании будут конкурировать друг с другом. Аукцион же нам поможет быстрее выявить победителя. Если же размер аудитории меньше чем размер выборки, полученный нами с помощью калькулятора, то мы не сможем корректно провести тесты, следует использовать другой инструмент тестирования.
Удачного тестирования!