Запуск экспериментов в Яндекс.Директ теперь доступен всем рекламодателям. Ранее пользоваться этим инструментом можно было только по запросу – тем рекламодателям, кто уверенно работает с аналитикой.
[подписывайтесь на наш Дзен-канал, чтобы не пропускать интересные материалы о digital-маркетинге]
Теперь же для проведения теста и анализа его результатов больше не требуется каких-то специальных навыков. Новый отчет в Метрике позволит без труда проанализировать результаты эксперимента: система автоматически проверит, достаточно ли накопилось данных для анализа, и выделит наиболее и наименее выигрышные варианты. Давайте разбираться, как это работает.
Если говорить в двух словах, эксперименты в Директе – это своего рода A/B-тесты с широкими возможностями. С их помощью вы можете:
- узнать, как влияют друг на друга кампании разных типов;
- проанализировать зависимость конверсий на сайте от показов рекламы;
- сравнить эффективность автоматических стратегий и ручного управления ставками;
- выбрать наиболее эффективную стратегию
Эксперименты дают возможность протестировать различные предположения об эффективности рекламы, комбинации настроек, типы кампаний и даже медиапланы рекламных агентств.
Запуск эксперимента
Перед началом работы следует учесть несколько очень важных моментов:
- Тестировать нужно только одну гипотезу за раз.
- В идеале в эксперименте должно набираться хотя бы 200 конверсий для того, чтобы результат значимым с точки зрения статистики. Если данных не хватает, следует исследовать цель, идущую выше по воронке и достигаемую чаще.
- Если вы хотите сравнить эффективность ручной и автоматических стратегий, важно, чтобы за время теста кампании израсходовали одинаковое количество средств.
- Эксперимент невозможно провести для рекламы мобильных приложений и медийных кампаний со сделками.
Запускаются эксперименты в Аудиториях. На вкладке «Эксперименты» нажмите кнопку «Создать эксперимент». Введите название и выберите счетчик Метрики, который хотите использовать для эксперимента. Укажите, на сколько сегментов и в каких долях нужно разделить аудиторию.
Далее необходимо подготовить кампании к тестированию. Сделайте несколько копий исходной кампании. Кампании-копии необходимо остановить. Одну кампанию оставьте без изменений, а в копиях – измените нужный параметр в соответствии с гипотезой. Все остальные параметры, рекламные материалы и бюджет должны быть одинаковыми.
На странице параметров в блоке Эксперименты нажмите Активные эксперименты и нацеливание → Изменить. Откроется окно настройки экспериментов. Отметьте нужные эксперименты. Обратите внимание, что одну кампанию можно одновременно подключить не более чем к пяти экспериментам.
В настройках экспериментов вы также можете установить корректировки ставок для выбранного сегмента. После того, как все настройки выполнены, остановите исходную кампанию и одновременно запустите кампании-копии.
Просмотр результатов
Для того, чтобы оценить результат, мы отправляемся в интерфейс Метрики в раздел «Источники → Директ» сразу после того, как создали эксперимент, и переключаемся в режим сравнения.
Как правило после запуска тестирования требуется подождать около двух недель, чтобы накопилось достаточно статистики. Если данных будет недостаточно, то нельзя будет сделать однозначный вывод о том, какой вариант сработал лучше.
Чтобы прикинуть, достаточно ли у нас данных для сравнения, нужно оценить их статистическую значимость. То есть убедиться, что существующий результат будет незначительно отличаться от того, который мы получили бы, если бы данных было намного, допустим, в тысячу раз больше.
Как это сделать? Метрика самостоятельно рассчитает всё за нас!
Данных достаточно, когда показатели, по которым вы оцениваете эксперимент, выделены в отчете определенным цветом:
- Зелёный говорит о том, что экспериментальный вариант оказался значимо лучше того, с которым вы его сравниваете.
- Красный – значимо хуже.
- Серый – данных достаточное количество, но показатели не отличаются.
Отсутствие цвета может означать одну из двух вещей:
- Для показателя недоступно сравнение.
- Данных еще недостаточно. Нужно подождать еще какое-то время или запустить новый эксперимент с другими настройками, позволяющими собрать больше трафика.
Дополнительный инструмент
Вместе с экспериментами вы можете использовать калькулятор проверки достоверности теста. С помощью A/B-экспериментов в Директе вы тестируете разные стратегии, например – оптимизацию количества кликов или среднюю рентабельность инвестиций. А калькулятор подскажет, какой из вариантов будет иметь лучший показатель CPA (стоимость целевого действия).
Шпаргалка
Чтобы рекламодателям было проще запускать эксперименты, Яндекс подготовил небольшой чек-лист по настройке эксперимента в Директе. Итак, что нужно проверить:
- Гипотеза понятно и четко сформулирована.
- Один эксперимент – одна гипотеза.
- Счетчик Метрики подключен корректно, цели заданы.
- В Директе счетчик Метрики добавлен в кампании.
- Кампании в Директе таргетированы на нужные сегменты.
- Одно изменение – один сегмент.
- У кампаний одинаковый регион показа.
- Кампании стартовали одновременно и работают одинаковый период.
- Эксперимент проводится без пауз.
- Данные за первый и последний дни эксперимента не учитываются при анализе результатов как неполные.
- По результатам эксперимента статистически-значимые изменения запущены.
- Выводы, полученные на маленькой выборке, не стоит экстраполировать на большие кампании.
Эксперименты в Директе – хорошая возможность протестировать не только разные варианты объявлений, но и настройки, типы кампаний и даже медиапланы. Все это поможет узнать, какой сценарий работы с рекламой в итоге окажется эффективнее для вашей компании.