Мне нравится пиво, но я не специалист, не фанат крафта и тем более не пивной сомелье. Я обычный интеллектуальный работник, который иногда в пятницу желает насладиться прохладным пивным напитком. В пятницу, возвращаясь домой, у меня есть множество вариантов, где остановиться на кружке пива: дешевые пивные, бары при крафтовых пивоварнях или обычные магазины, где цены могут быть разными (при чем в шаговой доступности около дома действительно много разных пивнушек и цены отличаются в 5-8 раз).
Но есть один момент, который меня смущает. Иногда заходишь в бар, заказываешь пиво, и тебе приносят его в красивой кружке, и оно вроде бы вкусное, но почему за поллитра просят 500 рублей? Если купить банку за 80 рублей в магазине, будет ли оно значительно хуже?
Я взял бумагу и ручку, чтобы выяснить, оправдана ли для меня переплата. Также я решил ознакомиться с основами математической статистики, которая является одной из важнейших дисциплин в науке. Несмотря на то, что мои расчеты достаточно точны, из-за малого количества наблюдений и множества неучтенных факторов, этот эксперимент носит скорее иллюстративный характер. Но для человека, незнакомого со статистикой, это может быть способ ответить на вопрос, чувствую ли я разницу.
Основная гипотеза
В качестве основной гипотезы для нашего эксперимента примем следующее: я не в состоянии различить крафтовое пиво от магазинного. Без углубления в детали, отмечу, что такая постановка вопроса упрощает дальнейшую проверку. Проверка гипотезы заключается в попытке подтвердить или опровергнуть её с помощью наших данных. Мы можем либо принять гипотезу, либо отвергнуть её. Если гипотеза принята, её можно перепроверить другими методами или собрать дополнительные данные. В случае уверенного отклонения гипотезы, это означает, что данные не обладают этим свойством.
Асимметрия и неравенство? Они, как родные!
Мы, словно дети, играющие с хрупкой хрустальной вазой. Пока ваза цела, мы можем продолжать играть с ней, пока не разобьем. Но как только ваза разлетится вдребезги, игры с ней заканчиваются.
На нашем примере это означает, что если я не увидел разницы, можно поставить другие эксперименты, выпить в другой вечер. А если разница обнаружена, то другие эксперименты становятся ненужными.
Эксперимент
Для проверки гипотезы проведём следующий эксперимент. Разделим две банки пива на 12 порций (сервиз на 12 персон найдёт применение). По 6 порций каждого напитка. Мой ассистент будет подавать мне порции так, что я не буду знать, какое пиво пью. Мне нужно будет проранжировать порции от лучшей к худшей. Худшей порции я присвою 1 балл, а лучшей — 12.
В нашем эксперименте получилось такое ранжирование. Порции крафтового пива заняли места 1, 2, 5, 6, 9 и 11 в моём личном рейтинге. В баллах это соответствует: 12, 11, 8, 7, 4, 2.
Порции магазинного пива заняли места 3, 4, 7, 8, 10 и 12. Они получили баллы: 10, 9, 6, 5, 3 и 1 соответственно.
От лучшего к худшему (К — крафт, М — магазинное):
К, К, М, М, К, К, М, М, К, М, К, М
Статистический критерий
Зачем такая сложная процедура? Для неё можно применить следующие соображения. Подсчитаем суммы баллов каждого напитка. Для крафтового получилось 44 балла, а для магазинного 34. Вроде бы магазинное хуже, но сильно ли?
Если бы я не мог различать сорта совсем, то при большом числе порций в моём рейтинге крафт был бы в среднем не выше, чем магазинное. Я бы просто случайно оценивал, какое пиво лучше.
В нашем эксперименте наиболее вероятная сумма баллов была бы одинакова у обоих напитков, то есть равна 0.5 * (1 + 2 + … + 12) = 39. Самым внимательным читателям могу предложить подумать, почему так; а также попытаться осмыслить, почему справедливо соотношение |44 - 39| = |34 - 39| = 5, и почему это не случайность.
Представим все возможные ранжирования, которые я мог бы составить. Для каждого ранжирования можно рассчитать минимальную сумму баллов одного из напитков. Чем больше сумма баллов отличается от 39, тем менее вероятен такой результат при условии, что я не отличаю крафт от магазинного. Тогда, если мои данные показывают слишком низкую сумму баллов у одного из напитков, то мы уверенно можем утверждать, что разница есть!
Ошибочки
А уверенно — это как? Можно ли это как‑то потрогать? Можно! Уверенность мы будем определять с помощью оценки вероятности допустить ошибку. Какие ошибки мы можем допустить по итогам эксперимента?
Мы можем согласиться с тем, что не отличаем магазинное от крафтового тогда, когда отличия чувствуем. Получается, мы говорим, что гипотеза выполняется тогда, когда это не так. В таком случае мы можем продолжить другие опыты и, например, позже увидеть различия. Такую ошибку иногда называют ложноположительной.
Либо же мы можем попытаться увидеть различия там, где их нет. Тогда с самодовольной ухмылкой мы отринем исходную гипотезу и будем всю жизнь отдавать больше за мнимый оттенок жадности, горечь алчности и послевкусие переплаты. Нет, конечно, можно и другие эксперименты поставить, но тогда у нас могут быть два противоречащих друг другу результата. И как понять, кто прав, а кто лев? Такую ошибку иногда зовут ложноотрицательной.
Минимизация вероятности первой ошибки может привести к тому, что мы всегда будем видеть какие‑то различия. Действительно, если всегда отвергать исходную гипотезу, то неправильно принять её мы не сможем.
Минимизация вероятности второй ошибки приведёт к тому, что мы просто никогда не почувствуем разницу между крафтовым и магазинным пивом. Если всегда принимать гипотезу, то неверно отвергнуть её у нас также не получится.
Кому и зачем нужны подобные исследования? Необходим баланс! Его поиск можно осуществить определенным способом.
Вторая ошибка аналогична случайно разбитому вазочному сосуду, и мы стремимся контролировать её. Мы заявляем, что наша цель — минимизировать вероятность этой ошибки, не допуская её превышения над заранее установленным порогом. К примеру, если одна ошибка допущена в десяти экспериментах, то вероятность второй ошибки не должна превышать 1/10. Этот показатель настолько важен, что для него даже было создано специальное наименование — уровень значимости.
Важно установить такое число, что если меньшая сумма баллов из двух сравниваемых меньше этого числа, то мы уверенно отклоним гипотезу об отсутствии различий между напитками. При этом мы выберем такое число, чтобы вероятность ошибки второго рода была меньше 0,1. Это число мы назовем критическим значением. (Мы спроектировали эксперимент таким образом, что для ответа на основной вопрос критически важно, превышает ли сумма баллов магазинного пива это число или нет.)
Задача определения критического значения довольно сложна. Она включает анализ всех возможных ранжирований и вычисление минимальных сумм баллов в каждом из них. Затем для каждой возможной суммы баллов мы оцениваем вероятность ее появления при условии отсутствия различий между напитками. Другими словами, мы рассчитываем вероятность случайного получения такого ранжирования, где сумма баллов точно соответствует наблюдаемой. Можно также определить долю ранжирований с фиксированной суммой баллов магазинного пива среди всех возможных ранжирований при заданных условиях.
Например, как уже было отмечено, крайне маловероятно, что я всегда правильно определю, где крафтовое, а где магазинное пиво. В этом случае минимальная сумма баллов будет равна наименьшей возможной сумме, то есть 1 + 2 + 3 + 4 + 5 + 6 = 21. Такая сумма может возникнуть только в одном из всех возможных ранжирований, поэтому ее вероятность можно оценить как 1 к общему числу всех возможных ранжирований.
Таким образом, вероятность того, что сумма баллов магазинного пива (меньшая из двух) не превышает искомое число, равна вероятности совершения ошибки второго рода. То есть, если сумма баллов меньше этого числа, то вероятность ошибочно обнаружить различия там, где их нет, будет меньше 0,1.
Это число обычно находится с помощью ручных вычислений, включая подсчет возможных сумм, их вероятностей и т.д. К счастью, все это уже давно рассчитано, и для определения нужного числа можно просто обратиться к таблице (которая будет представлена в приложенных изображениях).
Для нашего эксперимента с 6 образцами одного пива и 6 образцами другого при уровне значимости 0,1 это число равно 30. Поскольку минимальная сумма баллов составляет 34, что явно больше 30, я могу уверенно заявить, что не вижу разницы между пивом за 450 рублей и за 100 рублей. Поэтому, вероятно, не стоит переплачивать.
В действительности, проведенные рассуждения не ограничиваются лишь экспериментами с пивом. Данная методика известна как статистический тест Уилкоксона, названный так в честь человека, предложившего его для практического применения. Этот тест предназначен для проверки гипотезы о сходстве двух наборов данных, когда информация о них отсутствует. Обычно, специалисты действуют более основательно, могут трансформировать данные или изучать их дополнительные характеристики. Однако, мы пока остановились на самом простом методе, не требующем глубокого погружения в математические дебри.
Если интерес читателей к теме пива возникнет, возможно, стоит провести более глубокое исследование, включающее сбор и обработку данных, а также регрессионный анализ. Это будет долго, сложно, но захватывающе. Как насчет поиска лучшего пива в Баку на Неве?
Вы можете попробовать провести аналогичный эксперимент с другими продуктами. Например, сравните черный чай брендов "Принцесса Нури" и "Гринфилд". Интересно, что оба этих бренда производятся компанией "Орими Трейд". Возможно, для вас они различаются только упаковкой?
Похоже, что задача решена! Можно спать спокойно. Пейте пиво в умеренных количествах, живите полноценной жизнью и не забывайте о здравом смысле!
