🐈⬛ В публикациях всё чаще встречается утверждение: «Байесовский фактор показал, что эффекта нет». Звучит уже привычно, но с научной точки зрения — некорректно.
📌Факт: ни один статистический показатель — ни p-значения, ни доверительные интервалы, ни байесовские факторы (BF) — не способен доказать, что эффект точно отсутствует. Он лишь может предоставить оценку того, насколько данные совместимы с определёнными моделями, заданными заранее.
🔍 Что такое байесовский фактор и где подвох?
BF — это отношение правдоподобий двух гипотез:
H₀: эффекта нет
H₁: эффект есть (задан через распределение вероятностей — априорное распределение)
Если BF < 1, это трактуется как «в пользу H₀». Но на деле это означает лишь, что данные хуже согласуются с конкретной H₁, чем с H₀. Проблема в том, какую именно H₁ вы задали.
⚠️ Как BF "ошибается" – проблема априорного распределения:
Во многих исследованиях H₁ задаётся автоматически: например, с помощью широкого распределения Коши (0, 1), что предполагает ожидание крупных эффектов (напр., d > 0.70).
Но если реальный эффект скромный (напр., d = 0.20, что нормально), BF будет "наказывать" H₁ за чрезмерные ожидания и ошибочно предпочтёт нуль — даже если данные вполне совместимы с этим эффектом.
💉Можно смоделировать клиническое исследование: 40 пациентов в каждой группе, лёгкое улучшение от терапии (эффект d = 0.20), тогда:
🔴p < .05 — в 14% случаев
🔴BF > 3 в пользу H₀ — в 47% (!) случаев
🔴BF > 3 в пользу H₁ — в 7%
То есть почти в половине случаев BF «решает», что терапия неэффективна, хотя на деле эффект есть — просто слабый. Эта ошибка критична в контексте, где реальные эффекты зачастую малы, но стабильны и кумулятивны.
🧠 Что об этом говорит философия науки?
🤓 Эффект — это не "вещь в мире", а паттерн в данных, зависящий от:
🔴конструкции исследования,
🔴уровня анализа (индивид / группа / популяция),
🔴теоретических допущений,
🔴используемой модели (включая априорное распределение).
📣 Эффект — это не "есть или нет". Это то, как данные структурированы нашим инструментом.
❗️ Байесовские факторы:
🟣предполагают заранее заданную H₁, которая часто не соответствует реальному эффекту
🟣требуют явной теоретической модели для априорного распределения, которой часто нет
🟣используются без достаточного контроля над допущениями априорного распределения (напр., настройки по умолчанию в статистических пакетах Коши с масштабом 0.707), что приводит к ложной уверенности в "нуле".
📌Частотные методы при этом:
🟠не требуют априорного распределения,
🟠дают диапазон возможных эффектов,
🟠предоставляют возможность задать зону клинической или практической эквивалентности
✔️ Что делать?
✅Не полагаться на BF как на абсолютный критерий отсутствия эффекта
✅Оценивать доверительные интервалы
✅Использовать тест эквивалентности (TOST), чтобы честно исключать практически значимые эффекты
✅Всегда осмысленно задавать априорное распределение, если всё же используется BF
✅Не делать выводов «эффекта нет»
🧭 Итого
🟣BF не доказывает, что эффекта нет — он показывает, насколько данные согласуются с конкретной H₁
🟣Если априорное распределение на эффект задано неправдоподобно, BF может ввести в заблуждение
🟣Эффект — это структурное соотношение в данных, а не объективное свойство «в мире»
🟣Малые эффекты — норма, а не артефакт, их нельзя просто «объявить нулевыми»