Представьте, вы запустили рекламу и судорожно каждые 2 часа проверяете статистику. Вот пошли первые конверсии: один из рекламных креативов явно опережает по эффективности (CR составил аж 12%, при том что у остальных креативов CR 4-5%). И уже руки чешутся отключить все «неудачные» креативы и оставить нашу «звёздочку».
Эта ситуация - классическая ловушка, в которую ежедневно попадают даже опытные маркетологи. Желание быстро оптимизировать, сэкономить бюджет и сделать «как лучше» в последствии, так или иначе сталкивается с законами математики и теории вероятностей.
Поэтому попробуем провести оценку эффективности нашей рекламы с учётом наших человеческих когнитивных искажений, теории вероятностей и закона больших чисел.
Что происходит на самом деле в первые дни теста?
День 1-3: Вы видите реализацию случайного процесса, а не устойчивую закономерность.
Ваш креатив с 12% CR мог просто:
- Случайно попасть на узкую группу «горячих» пользователей
- Быть показан в удачное время суток
- Получить случайный клик от «исследователя», а не целевого клиента
День 4-7: При увеличении бюджета начинается стабилизация:
- «Звёздный» креатив падает до 5-6%
- «Аутсайдеры» растут до 4-5%
- Все сходятся к истинному среднему
Как не стать жертвой самообмана? Алгоритм действий:
Рассчитайте минимальную статистически значимую выборку по готовой формуле.
Эта формула называется "Формула для определения объёма выборки при оценке доли (пропорции)" (Sample size determination for proportion estimation).
Её также часто называют:
- Формулой для расчёта выборки при известной пропорции
- "Калькулятор статистической значимости для конверсии"
Контролируйте частоту проверок
Установите правило:
- Первые 3 дня - только сбор данных, никаких выводов
- Решения об отключении - только после сбора достаточного количества данных
Примите парадокс «медленной оптимизации»
В рекламе самая быстрая оптимизация - это терпеливая оптимизация.
Отключая «неудачные» креативы рано, вы:
- Уничтожаете диверсификацию рисков
- Теряете возможность увидеть позднюю конверсию
- Подвергаетесь случайным колебаниям трафика
Если лень считать и сильно обобщить
Минимальный порог, после которого цифры перестают быть просто случайным шумом:
- Абсолютный минимум: 100 кликов и хотя бы 30 конверсий (тогда погрешность будет около ±15-20%, что уже хоть что-то значит)
- Более-менее: 300-500 кликов и 50+ конверсий (погрешность снижается до ±8-12%)
- Уже можно работать: 1000+ кликов, 100+ конверсий (погрешность ±5-8%)
Рекламные платформы апеллируют к «обучаемым алгоритмам», но никакое машинное обучение не отменяет ЗБЧ. Нейросети могут быстрее находить паттерны, но им точно так же нужны репрезентативные объёмы данных для оценки параметров.
Прежде чем принимать решения, спросите себя:
- Хотели бы вы, чтобы ваш хирург учился делать операции на 10 пациентах?
- Стали бы вы доверять погоде, если прогноз делается по состоянию неба в данный момент?
P.S. Законы статистики работают даже если вы в них не верите - как гравитация. Можно игнорировать, но при падении всё равно будет больно. Особенно больно вашему бюджету и репутации.
Готовый промпт для расчета:
Рассчитай минимальный объём выборки для оценки конверсии со следующими параметрами:
1. Ожидаемая конверсия (p): 5% (0.05)
2. Доверительный уровень: 95% (Z = 1.96)
3. Допустимая погрешность (ε): ±2% (0.02)
4. Популяция: не ограничена
Предоставь полный расчёт.