Попалась мне недавно статья с русурса medialeaks с кричащим заголовком: "Шах и мат, сексисты. Исследование установило, что женщины водят лучше мужчин, и реакция последних — золото". В ней автор утверждает, что учёные установили - женщины водят лучше мужчин, и высмеивает несогласных пользователей твиттера. Давайте оставим за кадром сам этот извечный спор, и разберём аргументацию в этой статье.
Слова о том, что из женщин получаются, мягко говоря, неважные водители, нередко можно услышать в мужских компаниях, но последнее исследование от Confused.com показало, что это мнение — ошибочно, пишет LADbible.
Отлично, приведена ссылка на СМИ, откуда взята информация, и на оригинальную статью.
Правило №1: всегда проверяй источники.
LADBible нам не интересен, т.к. есть оригинальное исследование. Сначала смотрим на сам сайт confused.com - ребята занимаются страховкой (подбором страховой компании) и другими финансовыми услугами для автолюбителей. Делаем вывод, что это не публикация в рецензируемом журнале, а просто чьё-то частное исследование. В принципе, если вам дорого время, то на этом можно заканчивать, но давайте продолжим.
Вернёмся к статье. После пары абзацов без смысла автор переходит к сути:
Эксперты выяснили, что из 540 тысяч человек, осуждённых за нарушение закона на дорогах в Англии и Уэльсе в 2018 году, 79 процентов были мужчинами. Почти четверть всех автомобильных правонарушений были совершены водителями, а на водительниц приходится всего семь процентов аварий.
Однако, хотя мужчины были признаны худшими водителями с точки зрения правонарушений, ...
Всегда, когда видим в статье цифры, применяем несколько простых проверок чтобы понять, не манипулируют ли нами.
Правило №2.1: проверяй статистичекую значимость цифр.
Не будем останавливаться подробно, поскольку с этим в статье всё хорошо. Статистическая значимость не указана, но 540 тыс.человек - это реально много, поэтому нет сомнений, что мужчины действительно больше нарушали и чаще попадали в аварии.
Правило №2.2: проверяй построение выборки.
Иногда манипуляция строится за счёт специфичной фильтрации входных данных, когда их существенная часть отбрасывается, либо данные изначально собираются каким-то специфичным образом. В данном случае снова всё хорошо - взяты все водители в Великобритании, значит как минимум для этой страны выводы будут валидны.
Правило №2.3: проверяй выводы из данных
Вот здесь и зарыта собака. Для проверки, используем такой приём, как проверка экстримальных значений. Возьмём какую-нибудь категорию людей, которые совершают ещё меньше аварий, например дети и повторим вывод авторов. Получается, лучше водители - дети? Абсурд. Значит, выводы автора однозначно некорректны. Для того, чтобы утверждать подобное, как минимум необходимо, чтобы мужчины и женщины проводили за рулём одинаковое время. Но давайте пройдём проверку до конца.
Правило №2.4: ищи сдвиги в данных
Практически всегда натуральне статистические данные (не путать со слепыми А/B тестами) содержат искажения, которые оказывают влияние на результат. В данном случае, для окончательного ответа на вопрос, кто является лучшим водителем, нужно помимо знания, кто сколько проводит за рулём, также посмотреть и на менее очевидные вещи: сколько женщин и мужчин работает водителями, в т.ч. водителями автобусов и грузовиков, как они распределены по социальным слоям, по сценариям использования автомобиля (город / дальние поездки) и т.п. Полноценные научные работы обычно включают борьбу со смещениями в той или иной форме, в данной статье ничего такого не указано.
Итого, мы можем сделать вывод, что данная статья - полная профанация. В этом месте важно самому не попасть в просак и не забыть про:
Правило №3: ложность статьи не означает ложность вывода
На данный момент мы можем сделать только один вывод - что выводы, сделанные журналистом, не соответствуют действительности. Мы не знаем, является ли корректным само оригинальное исследование, и тем более не знаем, кто же всё-таки лучше водит.
Знаете другие примеры неожиданных исследований, разбор которых хотели бы услышать? Оставляйте в комментариях!