A/B тесты и все вот про это вот все

При этом Яндекс в своем Вариокубе использует Манну Уитни. Тут описывается механика и разбираются некоторые аргументы из первой статьи.

метрик, как ее моделировать и правильно использовать в работе. Ссылка в отметкой времени. Почему это важно? Как в рассказе Виталия, мы можем раз за разом брать какую-то метрику и раз за разом разочаровываться, когда наша фича снова не дала результат. Если заняться исследованием чувствительности метрик, мы можем выяснить, что эти и те метрики у нас малочувствительны и на них не нужно акцентироваться в экспериментах...

На досуге посмотрю, что там есть, после расскажу

Хочешь превратить встречу в холивар? Предложи обсудить использование mde в аб-тестах. Не нужно благодарностей

Однажды в одном продукте разработали одно фичу. Что за компания, продукт и фича, не важно. Важно другое. Фича была крупная, она могла достаточно серьезно повлиять на прибыль. Но сверху поступило указание не проводить АБ-тест, так как там были очень уверены в успехе, а АБ-тесты, как известно, для слабых и неуверенных в себе. А мы в команде, рангом пониже, не такие, и отрезали для контроля 10% на всякий случай. По ходу снимали промежуточные результаты, где-то есть профит, где-то нет. Проходит время, сверху приходит запрос сделать выводы об эффективности. Тут как раз и пригодился наш 10-процентный контроль...

Новости интересные подъехали. Авито прибирает к рукам платформу Сигма от EXPF. Не готов сейчас обсуждать, к лучшему или к худшему это. Понаблюдаем. https://www.avito.ru/company/press/expfsigma

Тут коллеги из Бургер Кинг рассказывают, как делают оффлайн АБ-тесты. Раз и два

Снова возвращаюсь к тому, что 10% успешных АБ-тестов считается нормой. Уже говорил, что в таком случае эксперименты становятся вместо инструмента тестирований гипотез инструментом оценки качества гипотез. Иногда некоторые компании рассказываю, что у них показатель успешных достигает 20-25%. Снимаю шляпу в таких случаях. Качество гипотез страдает часто из-за отсутствия системности в работе с гипотезами, да и продуктами в целом. К сожалению, приходилось такое наблюдать. При этом, даже прохождение нашей гипотезы через простой чек-лист поможет откинуть большое количество мусора и сэкономить кучу времени и денег...

О бедном т-тесте замолвите слово. Подробный разбор метода, в том числе "легендарное" требование нормальности распределения для использования т-теста.

Байесовское АБ-тестирование часто встречаю в статьях, но, насколько понимаю, его используют немногие. Тем, кто хочет быстро оценить как это работает и помоделировать, поможет эта статья - тут общее описание, калькуляция, код.

Просматривая на выходных старые закладки, нашел две статьи в Медиуме от 2014 годя о том, как Airbnb проводит АБ-тесты. Раз и два. Там плюс-минус то, что мы знаем и делаем. Важно, что этим статьям 11 лет, а методология в компании была разработана еще раньше. При этом, все еще частенько приходится менеджерам объяснять,...

Немного про результаты нашего АБ-теста. Бывает такое, что получили какой-то результат. Например, наши метрики прокрасились, p-value < 0.05, все гладко, открываем шампанское, выписываем себе премию. Часто у нас много дел, АБ-тесты и прочие важные вещи идут потоком и мы не погружаемся, за счет чего получили те или иные результаты. Так ведь, наверное, ни к чему - все же удачно. Да и дел много других. А, тоже может быть, наш результат был получен за счет небольшой группы пользователей, небольшой группы товаров, одного большого региона - в общем одного сравнительно небольшого сегмента. Если бы у...