A/B тесты и все вот про это вот все

При этом Яндекс в своем Вариокубе использует Манну Уитни. Тут описывается механика и разбираются некоторые аргументы из первой статьи.

метрик, как ее моделировать и правильно использовать в работе. Ссылка в отметкой времени. Почему это важно? Как в рассказе Виталия, мы можем раз за разом брать какую-то метрику и раз за разом разочаровываться, когда наша фича снова не дала результат. Если заняться исследованием чувствительности метрик, мы можем выяснить, что эти и те метрики у нас малочувствительны и на них не нужно акцентироваться в экспериментах...

На досуге посмотрю, что там есть, после расскажу

Хочешь превратить встречу в холивар? Предложи обсудить использование mde в аб-тестах. Не нужно благодарностей

Однажды в одном продукте разработали одно фичу. Что за компания, продукт и фича, не важно. Важно другое. Фича была крупная, она могла достаточно серьезно повлиять на прибыль. Но сверху поступило указание не проводить АБ-тест, так как там были очень уверены в успехе, а АБ-тесты, как известно, для слабых и неуверенных в себе. А мы в команде, рангом пониже, не такие, и отрезали для контроля 10% на всякий случай. По ходу снимали промежуточные результаты, где-то есть профит, где-то нет. Проходит время, сверху приходит запрос сделать выводы об эффективности. Тут как раз и пригодился наш 10-процентный контроль...