Однажды в одном продукте разработали одно фичу

Однажды в одном продукте разработали одно фичу. Что за компания, продукт и фича, не важно. Важно другое.

Фича была крупная, она могла достаточно серьезно повлиять на прибыль. Но сверху поступило указание не проводить АБ-тест, так как там были очень уверены в успехе, а АБ-тесты, как известно, для слабых и неуверенных в себе. А мы в команде, рангом пониже, не такие, и отрезали для контроля 10% на всякий случай.

По ходу снимали промежуточные результаты, где-то есть профит, где-то нет.

Проходит время, сверху приходит запрос сделать выводы об эффективности. Тут как раз и пригодился наш 10-процентный контроль. И, кстати, наверху уже и забыли про нежелание делать АБ и никак не отреагировали на наши выкладки типа "тест-контроль-аплифт".

Фича была достаточно сложная и по-разному влияла на разные сегменты пользователей.

В результате оказалось, что в одном сегменте у нас стат. значимо есть аплифт (и конверсии и хулиарды денег), в другом было близко к стат. значимости, но нет, а в остальных, самых крупных сегментах было очень далеко от 0,05.

Таким образом, благодаря тому, что мы все же сделали контроль:

1. Смогли показать успешность гипотезы и показать прирост конверсии и чистой прибыли компании.

2. Увидели, что наши нововведения по-разному в одних сегментах работают хорошо, а в других не работают вовсе.

3. Получили идеи, что теперь с этим делать дальше.

4. Получили еще одно подтверждение, что все эти чуйки и интуиции без нормального обоснования фактами могут идти лесом.