Источник: https://www.eco-vector.com/4horses
Казалось бы, учёные давно поняли, как формулировать и проверять гипотезы в экспериментах и объяснять те или иные результаты с помощью статистики. Однако, если проследить за развитием некоторых дисциплин на протяжении 60 лет – например, биомедицинских наук, можно поразиться, сколько времени, сил и денег потрачено на ошибочные исследования. Предвзятость при выборе темы, низкая статистическая сила, Р-хакерство и «HARKing» - все эти вещи препятствуют науке идти вперёд.
Некоторые учёные понимают, с чем это связано, стараются устранять подобные явления, но остаются в меньшинстве. По словам Дороти Бишоп (Dorothy Bishop), экспериментального психолога из Оксфордского университета Великобритании, на сегодняшний день исследователи мало что предприняли для устранения этих проблем в науке.
Ещё в 1975 году психолог Энтони Гринвальд (Anthony Greenwald) отмечал, наука имеет массу предубеждений против нулевых гипотез. Это множит предвзятость в выборе предмета исследования: учёные реже занимаются темами, которые редко приводят к большим открытиям, и с меньшей вероятностью опубликуют в престижных журналах. По этой причине исследователи тратят время и ресурсы на повторение «звёздных» экспериментов и не двигаются за пределы изведанного.
Ситуация начала меняться к лучшему спустя некоторое время, когда специалисты, например, стали замечать наносимый ими пациентам вред. Если 20 исследований препарата завершается только одним положительным результатом, нельзя назвать его действенным. Также всё большую популярность начали набирать мета-анализы, где объединение результатов различных исследований давало чёткую картину тенденции к замалчиванию отрицательных результатов и созданию ложного впечатления.
В случае со статистической силой работы происходит примерно также. Если исследование имеет небольшой размер выборки, эффект эксперимента его будет сложно обнаружить и доказать, даже если он присутствует. Такие исследования тратят время и деньги, а их польза для науки очень сомнительна. Чтобы сократить их количество, финансирующие компании стали настаивать на совершенствовании методов и увеличении масштабов испытаний. Но пока только в таких областях, как генетика и клинические испытания лекарств.
Большой популярностью среди исследователей разных специальностей пользуется так называемое Р-хакерство. Когда для проверки результата используется только значение р-уровня значимости, без дополнительных и более точных статистических тестов. Это очень искажает результаты, и ситуация начала меняться лишь в 2011 году, после комического исследования с песнями группы The Beatles, якобы продлевающими молодость.
Другим способом создать популярный труд является описание результатов уже после получения данных - HARKing. Учёные выбирают какую-либо захватывающую находку после изучения большого количества данных, а затем пишут статью с интерпретацией. В итоге получается бессмысленная работа, где данные р-уровня значимости вырваны из контекста анализов, выполненных для их же получения.
Перечисленные проблемы существуют несколько десятков лет. Современные тенденции в науке и осознание последствий помогает сдерживать их натиск. Во-первых, расцветают мета-исследования, а также формат «зарегистрированного отчёта». В нём подробно изложены все детали эксперимента – методы, дизайн, способ анализа результатов и т.д. Их тщательно исследуют редакторы, препятствуя распространению Р-хакерства и HARKingа. Во-вторых, спонсоры стали более строгими к оформлению документации и ввели правило открытых протоколов, где все данные полностью описаны.
По словам Бишоп, эти силы, скорее всего, возьмут верх, и «четверо всадников» будут, наконец, побеждены.