Добавить в корзинуПозвонить
Найти в Дзене
Re: Бизнес

Неделя с запуска ВОТТИ: что сломалось, что починил, и почему тест ещё не завершён

Неделю назад я опубликовал пост о том, что запустил рекламу своего сервиса через сам же сервис. Обещал вернуться с результатами. Возвращаюсь — но не с победными цифрами, а с честным отчётом. На третий день я обнаружил фундаментальную проблему. Когда все варианты объявлений загружаются в одну группу Директа — Яндекс сам решает какие показывать, а какие нет. Победитель определяется не качеством текста, а алгоритмом Яндекса который оптимизирует под свою прибыль. Весь смысл честного A/B теста теряется. Пришлось остановить кампании и пересобрать всё с нуля по правилу «1 вариант = 1 группа». Только так данные будут чистыми. Это задержало результаты на несколько дней. Зато теперь тест честный. Пока разбирался с проблемой — доработал сам сервис: Тест идёт. Новые кампании крутятся с правильной структурой. Как только ВОТТИ определит победителя — опубликую третий пост с реальными цифрами: до и после итерации. Если ведёте рекламу в Директе и хотите попробовать сервис – буду рад. Бесплатно – 5 гене
Оглавление

Неделю назад я опубликовал пост о том, что запустил рекламу своего сервиса через сам же сервис. Обещал вернуться с результатами. Возвращаюсь — но не с победными цифрами, а с честным отчётом.

Что пошло не так

На третий день я обнаружил фундаментальную проблему. Когда все варианты объявлений загружаются в одну группу Директа — Яндекс сам решает какие показывать, а какие нет. Победитель определяется не качеством текста, а алгоритмом Яндекса который оптимизирует под свою прибыль. Весь смысл честного A/B теста теряется.

Пришлось остановить кампании и пересобрать всё с нуля по правилу «1 вариант = 1 группа». Только так данные будут чистыми.

Это задержало результаты на несколько дней. Зато теперь тест честный.

Что появилось за неделю

Пока разбирался с проблемой — доработал сам сервис:

  • Автозавершение теста: ВОТТИ сам останавливает проигравших когда накопится достаточно данных, и уведомляет в Telegram
  • Авто-ставки: каждые 4 часа выставляет минимальную ставку для первой позиции
  • Прогресс-бар готовности теста: видно сколько кликов осталось до выбора победителя
  • Сравнение CTR/CPC улучшенных объявлений с исходным вариантом
Вот как выглядит живой тест прямо сейчас: объявления крутятся параллельно, данные подтягиваются сами. Вариант 3 пока лидирует — CTR 1.3% против 0.47% у первого варианта. Но данных ещё мало, ВОТТИ ждёт минимум 20 кликов на каждый вариант.
Вот как выглядит живой тест прямо сейчас: объявления крутятся параллельно, данные подтягиваются сами. Вариант 3 пока лидирует — CTR 1.3% против 0.47% у первого варианта. Но данных ещё мало, ВОТТИ ждёт минимум 20 кликов на каждый вариант.

Что дальше

Тест идёт. Новые кампании крутятся с правильной структурой. Как только ВОТТИ определит победителя — опубликую третий пост с реальными цифрами: до и после итерации.

Если ведёте рекламу в Директе и хотите попробовать сервис – буду рад. Бесплатно – 5 генераций каждые сутки.