Когда речь заходит о статистической значимости, цифры могут вводить в заблуждение даже опытных исследователей. Профессор педагогики Монреальского университета Себастьен Белан и его коллеги отмечают, что стандартное p-значение часто понимается неверно. P-значение показывает вероятность того, что наблюдаемые результаты возникли бы случайно, если бы между сравниваемыми наборами данных не существовало реальной связи. Но на практике оно легко превращается в «магическое число», якобы подтверждающее открытие или опровергающее его.
«Многие автоматом берут порог 0,05 и считают его золотым стандартом, но это всего лишь ориентир, установленный Рональдом Фишером почти сто лет назад. Результаты чуть выше 0,05 тоже могут быть значимыми в зависимости от контекста», — говорит Белан
По словам авторов, p-значение похоже на термометр. Он показывает температуру, но не отвечает на вопрос, болен ли человек или просто находится в жарком помещении. Так же и p-значение указывает на вероятность случайности, но не раскрывает полной картины явления
Особенно заметна проблема в социальных и гуманитарных науках, где данные часто нестабильны и содержат много случайных колебаний, а эффекты — мягкие, сложные и многослойные. Белан вспоминает пандемию COVID-19, когда СМИ активно цитировали исследования, не разбираясь в методах. Ошибочные интерпретации приводили к принятию сомнительных решений и политике, которая не всегда была эффективной.
«Результаты представлялись так, словно цифры говорили сами за себя, — отмечает он. — Но в реальности многое зависело от контекста, структуры данных и ограничения методов».
Чтобы пролить свет на эти сложности, Белан вместе с Майклом Кантинотти из Университета Квебека в Труа-Ривьер и Дени Кузино из Университета Оттавы опубликовали статью в журнале Canadian Psychology. Они подчеркивают, что p-значение — это лишь часть большой научной картины, а не окончательный вердикт о том, есть ли эффект. В подготовке статьи приняли участие 24 исследователя из разных факультетов и отделений, включая педагогов, медиков, социологов и психологов.
Профессор подчеркивает, что студентам нужно прививать критическое мышление при работе со статистикой
«Важно видеть за цифрами контекст и ограничения метода. Результат с p=0,06 может быть информативнее, чем бездумное принятие p