Команда Яндекс Директа и сервис eLama осенью 2021 года организовали для рекламодателей A/B-тест автостратегий и ручного управления ставками. 80% участников, завершивших тестирование, продолжили использовать конверсионные стратегии после окончания эксперимента. У этих рекламодателей доля расходов в аккаунте на кампании с конверсионными стратегиями в январе — после эксперимента — была выше среднего значения показателей до и после теста. Для эксперимента были отобраны 662 кампаний у 287 клиентов eLama — самостоятельных рекламодателей и агентств и фрилансеров. Заявку на участие отправили 56 рекламодателей, 30 экспериментов были запущены, 15 — завершились успешно. В остальных 15-ти или были нарушены условия проведения теста, или останавливались кампании — из-за нехватки бюджета или действий рекламодателей.
Автоматические стратегии превзошли ручное управление ставками по трем ключевым показателям (оценивались данные по итогам вторых двух недель теста, когда стратегии вышли из обучения):
- наименьшая средняя цена за конверсию (CPA);
- наибольшее количество конверсий — достигнутых ключевых целей;
- отношение цены к достигнутым целям. Например, если в кампании с автостратегией цена цели выше в 2,5 раза, а целей достигнуто в 2 раза больше, то считаем, что ручное управление сработало лучше.
Кампании из проведенных по всем правилам экспериментов продвигали проекты в 10 тематиках.
По стоимости цели автостратегия показала лучший результат в тематиках «Лекарственные препараты и БАДы», «Образование», «Уход за домом». Цена конверсии в таких кампаниях была на 37–47% ниже, чем в кампаниях с ручным управлением. Больше конверсий, чем ручное управление ставок, автостратегии принесли в тематиках «СМИ/информационные сайты», «Образование», «Уход за домом», «Юридические услуги и консалтинг», «Медицинские услуги». Разница в количестве достигнутых целей составила от 30 до 62%.
Как проходил эксперимент
Эксперимент проводился с 25 октября по 19 декабря 2021 года, тестовые кампании работали четыре недели. Кампании отбирались по критериям:
- Настроено ручное управление ставками и назначены ключевые цели.
- Активные показы и накопленная статистика за последние 14 дней.
- Не менее 20 конверсий по одной из ключевых целей за последние 7 дней в кампаниях.
- В аккаунте работают минимум две рекламные кампании (если в ходе эксперимента что-то пойдет не так, это не затронет всю рекламу клиента).
Тип кампании — поисковая или для сетей — был не важен.
A/B-тестирование проводилось с помощью инструмента в Яндекс Аудиториях, эксперимент настраивали специалисты Яндекса. Рекламодателю нужно было указать исходную кампанию, недельный бюджет, ключевые цели, стоимость их достижения, модель оплаты (за клики или конверсии) и другие параметры. Специалисты Яндекса создавали две копии исходной кампании, в одной оставалось ручное управление ставками, во второй — устанавливали конверсионную стратегию по параметрам, заданным клиентом.
Чтобы запустить эксперимент, рекламодатель выключал исходную кампанию и запускал две тестовые. Тест считался успешным, если выполнялись три условия:
- Две тестовые кампании работали непрерывно в течение четырех недель в период с 25 октября по 19 декабря.
- В кампаниях не менялись бюджет, стратегия, цена конверсии, средняя цена конверсии, модель атрибуции, не добавлялись и не удалялись ключевые цели. В кампании с ручным управлением допускалось изменять ставки, применять корректировки и использовать бид-менеджер eLama.
- Минимальный бюджет равнялся или превышал 4200 рублей в неделю (делился поровну на две тестовые кампании).
Во всех 15 кампаниях, завершивших тест, использовалась стратегия «Оптимизация конверсий», в четырех из них — рекламодатели выбрали оплату конверсий, в остальных — оплату кликов.
Решение о продолжении работы со стратегиями участники принимали самостоятельно.
