А/Б тест никогда не даст вам 100% уверенности. Никогда.
Сейчас на примере графика покажу почему 👀
Довольно часто получаю следующие вопросы по поводу статистики:
— а сколько нужно показов / кликов / корзин чтобы прям точно?
— "у меня в А/Б тесте вероятность победителя 90% — это значит точно победил, можно ставить?". А что если 99%? А 99,95%?
— или недавно такой: "у меня в тесте 90% вероятности было, в зеленой зоне, а потом откатилось в красную на 77%, как так?"
Короткий ответ: даже 99,9999% — это не гарантия. Никаких 100% в А/Б не бывает, и сейчас покажу почему.
Помните из прошлой части про нулевую гипотезу Фишера? По умолчанию мы предполагаем что варианты одинаковые, и тест нужен чтобы это предположение опровергнуть. Так вот — опровергать его можно бесконечно, но никогда не до конца.
Возьмём простой пример: монета.
Вы её подбрасываете и считаете сколько раз подряд выпадет орёл.
Нулевая гипотеза — «монета обычная, не шулерская» (шанс орла = 50%).
— 5 орлов подряд: вероятность что монета обычная = 3,125%. Уже подозрительно, прошли порог Фишера 5%.
— 10 орлов подряд: 0,0977%. Тут с монетой явно что-то не так.
— 20 орлов подряд: 0,0000953%. Если такая попалась — берите домой, аномалия.
— 30 орлов: 0,0000000093%. Восемь нулей после запятой 🤯
Красная кривая на графике падает к нулю с каждым броском. Но (это главное) — она НИКОГДА не пересечёт ось. Сколько данных ни собирай, остаточная вероятность что монета обычная всегда сохраняется. Просто становится ничтожно малой.
В этом и суть нулевой гипотезы. 100% уверенности в статистике не существует — только «достаточно близко к 100%, чтобы решиться».
Когда в Sellium «вероятность победителя 96%» — это не «он точно победил». Это «вероятность что варианты на самом деле равные = 4%, и мы готовы этим 4% рискнуть». Хотите 99% — собирайте больше показов. 99,5% — ещё больше. До 100% не дойти технически, кривая туда не приходит.
Отсюда же и ответ на вопрос «почему мой уверенный лидер с 90% потом ослабевает». Пока остаётся хоть малейшая вероятность что варианты равные — тест может развернуться. Не магия алгоритма, а просто хвост кривой который никогда не упирается в ось.
P.S. Признание. Пока я писал этот пост понял что в Sellium мы нагло вас обманываем. При достижении 99,5% результат округляется до 100% это происходит технически, тк все данные у нас округляются по такому правилу — а технически 100% быть не должно никогда. Кривая туда не приходит, а мы её туда «дотягиваем» округлением. Надо исправить или...?)
✍️ — исправляйте, пусть будет технически честно (99,99% максимум)
👍 — оставьте 100%, так понятнее обычному пользователю
👀 — давай дальше другие истории про А/Б
P.S. P.S. Надеюсь дорогой читатель простит мне эту мимолётную слабость, что отвлёкся на пост про 0-ю гипотезу вместо обещанной статьи про Джона Кейплса, копирайтера из директ-мейл агентства 1920-х, который придумал формулу известного рекламного заголовка, активного используемого и по сей день, того самого Кейплса, который запустил настоящий конвейер и вывел А/Б тесты на индустриальный масштаб... Скоро исправлюсь 😉
👀 хотите протестировать А/Б тесты бесплатно?
Пишите Дане воооооот сюда ⚫
