Каждая компания, желающая запустить интернет-рекламу, планирует достичь определенных целей. Каждый маркетолог мечтает знать, как можно заранее спрогнозировать результаты.
В этом может помочь эксперимент в ЯндексДирект.
Теперь не нужно рассчитывать все вручную, полагаться на волю случая или удачу. Все будет рассчитано автоматически, с учетом погрешностей и статистических возможностей.
Для чего это нужно?
Эксперимент похож на расширенный сплит-тест. С его помощью можно посмотреть влияние различных настроек на исход рекламной кампании.
В дополнение к этому можно увидеть:
- Взаимовлияние разных типов кампаний;
- Зависимость целевых действий от показов рекламы;
- Работу автоматических и ручных стратегий, чтобы выбрать оптимальный вариант;
- Отличия вариантов медиапланов.
Всегда безопаснее проверить свои планы на основе эксперимента прежде, чем запускать полномасштабную рабочую версию рекламной кампании.
Как это работает? Все очень просто. Нужно лишь задать вручную количество и размер требуемых сегментов, и Яндекс методом случайной выборки поделит целевую аудиторию по требуемым параметрам.
Важно: не для рекламы мобильных приложений и медийных компанийс возможностью заключения сделок!
Подготовка эксперимента
- Не стоит пытаться объять необъятное. Лучше более качественно проверить один наиболее важный целевой параметр на реакцию его изменений, чем получить невнятную картину изменений различных показателей.
- Наиболее точные результаты будут по тем целям компании, которые уже настроены в ЯндексМаркете и набирают более 200 конверсий каждый месяц. Если таких показателей нет, нужно выбрать тот, который находится на верху воронки продаж и чаще всего достижима покупателями.
- Для адекватного сравнения результатов эксперимента ручная и автоматические стратегии должны израсходовать одинаковое количество денежных средств.
Старт эксперимента
Раньше необходимо было делать предварительный запрос для проведения эксперимента. Сейчас эта функция в доступе по умолчанию на ЯндексДирект.
Нужно лишь зайти в сервис ЯндексАудитория, перейти на вкладку Эксперимент и кликнуть по соответствующей кнопке (см. рисунок).
Откроется такое окно (см. рисунок):
В нем вводится:
- Имя эксперимента;
- Номер счетчика Метрики с нужными данными или выбрать из выпадающего списка (см.рисунок).
Можно добавить новый счетчик (см. рисунок).
Или несколько, если этого требует эксперимент.
- Сегменты и их тестовую долю (см. рисунок).
Автоматически ставится – 50/50, но можно задать любое соотношение. Также можно разделить целевых пользователей на 2 и более сегментов, кликнув на соответствующую кнопку (см. рисунок).
Подготовка кампаний для эксперимента
- Создать несколько кампаний с одинаковыми параметрами. Удобнее это делать копированием исходной. Для этого нужно отметить ее в списке и кликнуть на «Копировать» (см. рисунок)
- Все кампании должны иметь статус «Приостановлена».
- Следует изменить тестируемый статус в каждой кампании в эксперименте. Остальные параметры остаются неизменными.
- Добавить требуемые счетчики Метрик в каждую кампанию (см. рисунок).
- Закрепить тестируемые кампании к проводимым экспериментам. Для этого в редактируемой кампании зайти в блок «Эксперимент» и кликнуть по кнопке «Изменить» (см. рисунок).
В появившемся окне настроек выбрать требуемый эксперимент.
Кампании можно использовать в различных экспериментах, но не более пяти.
- Выбрать сегмент аудитории в каждой кампании, которой требуется демонстрировать рекламу.
Например, если аудитория кампании разделена на сегменты «мальчики» и «девочки» с соответствующими долями 45% и 55%, а для теста выбран только сегмент «мальчики», то объявление будет увидено только 45% из мальчиков, являющимися частью данной аудитории.
Существует возможность корректировки ставок для определенных сегментов. Нужно лишь кликнуть на данную опцию и задать процент повышения или понижения ставок в определенной кампании (см. рисунок).
Обязательно следует сохранить изменения.
- Одновременно запустить все тестируемые кампании.
Других настроек эксперимента не нужно. Чтобы накопить данные для анализа требуется время. Обычно это занимает 2 недели. Возможно, больше. В течение месяца реально накопить требуемую статистику и получить достоверные результаты эксперимента.
Результаты
В ЯндексДиректе существует Мастер отчетов, где обычно проверяются данные о расходах. На рисунке указано, какие столбцы отчета необходимо отметить. Условием фильтрации должен быть раздел Эксперименты, где требуется выбрать название проводимого тестирования.
Из отчета можно понять, какой способ продвижения рекламы будет наиболее выгоден.
Данные о конверсиях можно увидеть в отчете «Директ, эксперименты». Он находится в интерфейсе ЯндексМетрика (см. рисунок).
Для отчета выбирается проводимое тестирование и анализируемый сегмент в кампаниями из ЯндексДиректа.
В режиме сравнения, выбрав заданные цели, можно увидеть следующую таблицу (см. рисунок).
Цветом выделены такие параметры:
- Просмотры;
- Визиты и целевые визиты;
- Посетители и целевые посетители;
- Параметры достижения целей в общем и на каждого посетителя;
- Общая конверсия и на одного посетителя;
- Отказы и прочее.
Выделение зеленым цветом означает лучшие показатели, красным – худшие. Серый – нет отличий, равный результат. Такая визуализация дает возможность быстро проанализировать отчет и прийти к оптимальному решению.
Если нет никакого выделения результатов, это может означать, что либо сравнение невозможно для выбранной Метрики, либо слишком мало данных для сравнения.
Во втором случае необходимо дополнительное время для накопления статистической информации. Также можно просто поменять настройки эксперимента для повышения скорости получения требуемого трафика.
Сбор и анализ данных Метрикой производится автоматически.
Для сравнения данных по описанным выше отчетам необходимо:
- Выбрать один период.
- Выбрать один регион показа.
- Убедиться, что эксперимент был непрерывным в данный период.
На рисунке показаны гипотетические результаты в качестве примера:
При одинаковых затратах в сегменте Б количество конверсий больше, чем в сегменте А, на 150%. Себестоимость достижения цели снизилась на 60%. Можно сделать вывод, что реклама в данном поле имеет лучший эффект.
Может так случиться, что данных для принятия решения недостаточно. Плюс необходимо учитывать погрешность теоретического эксперимента.
Как учесть погрешности?
Реальные показатели всегда будут отличными от экспериментальных. Идеального совпадения в машинном тестировании можно добиться только при бесконечной длительности.
Увидеть величину погрешностей можно на специальной вкладке. Чем ниже цифра, тем реальнее результат эксперимента. Соответственно, обратное соотношение позволяет сделать вывод, что данные эксперимента ошибочны.
Существует и еще одна возможность проверить результат тестирования. Данный инструмент называется «Калькулятор достоверности А/В тестирования». Он помогает оперативно оценить результаты стратегий и выбрать наиболее эффективные методы по стоимости целевого действия.
На рисунке показан Калькулятор, в поля которого нужно ввести анализируемые данные:
Требуемые показатели:
- Сегментные данные, размер, затраты, клики и конверсии;
- P-value – уверенность в результатах эксперимента. Обычно – 80%;
- Коэффициент жесткости дополнительных инвестиций – готовность владельца на увеличение бюджета кампании для достижения максимального результата.
Если в строке одного из сегментов появится слово «Да», это значит, что данный сегмент наиболее рентабелен.
Соответственно, «Нет» укажет на наименее эффективный. «Знак вопроса» скажет о том, что разницы между сегментами не существует. Указать причину такого состояния сложно.
При завершении эксперимента требуется остановка всех созданных для него кампаний. Запуская успешную кампанию в реальную работу необходимо в ней отключить эксперимент.
Коротко об описанных шагах для проведения эксперимента в ЯндексДирект:
- Четкая формулировка требуемой проверки;
- Подключение Счетчика Метрики с целями;
- Создание эксперимента в ЯндексАудитории – тестируемые кампании запущены;
- Непрерывность эксперимента;
- Отчет в Метрике с результатами;
- Завершение эксперимента – отключение кампаний, запуск в работу эффективной с отключением ее настроек от эксперимента. Либо проведение нового эксперимента с изменением параметров.
Инструменты Яндекса автоматизированы для успешной рекламы и позволяют экономить бюджет.