Каждый второй научный результат, который вы читаете в новостях, скорее всего, не подтвердится, если кто-нибудь потрудится его проверить — но проверять никто не собирается, потому что за это не дают грантов, не присуждают степеней и не печатают на обложках журналов.
Давайте начистоту. Мы привыкли думать, что наука — это такой бронированный сейф истины, где каждый факт прошёл тройную проверку, каждый эксперимент повторён до блеска, а учёные — бескорыстные жрецы объективности. Красивая картинка. Примерно такая же правдивая, как обещания на упаковке «натурального» йогурта. В реальности научное знание — это шаткая конструкция из гипотез, амбиций, дедлайнов и статистических фокусов. И самая грязная тайна этой конструкции называется кризис воспроизводимости. Не баг, а фича, как сказали бы программисты, — потому что система работает именно так, как была спроектирована. Просто никто не проектировал её для поиска истины. Её проектировали для производства публикаций.
Священный Грааль повторяемости
Воспроизводимость — это, если совсем по-простому, способность другого учёного взять ваш протокол, повторить эксперимент и получить тот же результат. Звучит элементарно, верно? Примерно как сказать ребёнку: «Собери этот конструктор по инструкции». Только вот инструкция написана на смеси латыни, статистического жаргона и авторских сокращений, половина деталей не вошла в комплект, а ребёнку вообще-то нужно не конструктор собирать, а написать собственную диссертацию к четвергу.
В идеальном мире воспроизводимость — фундамент научного метода. Нет повторяемости — нет науки. Точка. Но мы живём не в идеальном мире, а в мире, где профессор с индексом Хирша 40 получает грант, а профессор, который потратил три года на проверку чужих данных, получает сочувственные взгляды коллег и пустой банковский счёт.
Фокус в том, что воспроизводимость никогда и не была нормой. Она была идеалом — чем-то вроде «свободы, равенства, братства» для учёных: красиво на транспаранте, неудобно в повседневности. Ещё в семидесятых годах социологи науки вроде Гарри Коллинза показали, что большинство экспериментов в физике успешно повторяются только при условии, что вы лично приехали в лабораторию автора и он вам показал все неописанные нюансы руками. Так называемое неявное знание — тот самый слой мастерства, который не помещается ни в один раздел «Материалы и методы». Тридцать лет спустя ничего принципиально не изменилось, только масштаб проблемы стал виден невооружённым глазом.
Кризис, который старше вашей бабушки
Когда в 2015 году группа под руководством Брайана Носека опубликовала результаты проекта Reproducibility Project: Psychology, мир ахнул: из ста психологических исследований, напечатанных в топовых журналах, воспроизвести удалось меньше сорока. СМИ раструбили о «кризисе». Учёные хватались за голову. Грантовые агентства хмурили брови. Но, положа руку на сердце, удивляться тут было нечему.
Ещё в 2005 году Джон Иоаннидис — эпидемиолог, ставший кошмаром академического истеблишмента — опубликовал статью с убийственным названием, суть которого сводится к простому тезису: большинство опубликованных результатов ложны. Не «немного завышены», не «требуют уточнения», а именно ложны. Математика была безжалостной: при типичных размерах выборок, типичных уровнях значимости и типичной свободе исследователя в выборе методов анализа вероятность получить ложноположительный результат оказывается выше, чем вероятность найти реальный эффект.
И что, мир перевернулся? Академия реформировалась? Как бы не так. Статья Иоаннидиса стала одной из самых цитируемых в истории — и одной из наименее повлиявших на практику. Ирония толще, чем стена университетской библиотеки: все знают, что король голый, все написали об этом статью, и все продолжают делать реверансы. Потому что проблема не в незнании, а в стимулах — а стимулы работают против честности с точностью швейцарских часов.
Биомедицина оказалась ещё хуже. Компании Amgen и Bayer независимо друг от друга попытались воспроизвести знаковые доклинические исследования в онкологии — те самые, на основании которых разрабатывались лекарства. Amgen подтвердила шесть из пятидесяти трёх. Bayer — около четверти. Миллиарды долларов клинических испытаний, построенных на фундаменте из песка.
Publish or perish — конвейер мусора
Механизм порчи элегантен в своей простоте. Современный учёный — не исследователь, а производитель контента. Его валюта — публикации. Чем больше статей в журналах с высоким импакт-фактором, тем выше шансы получить позицию, грант, признание. Система publish or perish — публикуйся или умри — это не метафора, это буквальное описание карьерной траектории в академии.
А журналы? Журналы хотят сенсаций. Статья «Мы обнаружили потрясающий эффект!» пройдёт рецензирование быстрее, чем статья «Мы повторили чужой эксперимент и ничего не нашли». Второй тип работы вообще почти невозможно опубликовать. Это называется предвзятость публикации — систематический перекос в сторону положительных, ярких, неожиданных результатов. Отрицательные данные гниют в ящиках столов, порождая так называемый эффект картотечного ящика: научная литература показывает мир, в котором всё работает, все гипотезы подтверждаются, а лекарства помогают — просто потому, что свидетельства обратного не допускают до печати.
Добавьте к этому p-hacking — тихое, социально приемлемое мошенничество, при котором исследователь крутит данные так и эдак, пока не выскочит заветная цифра p < 0.05. Удалить пару «выбросов», добавить ковариату, разбить выборку на подгруппы, поменять зависимую переменную — арсенал приёмов огромен, и ни один из них формально не является фальсификацией. Это как играть в рулетку, записывая только выигрыши: технически вы не врёте, но картина реальности у вас получается, мягко говоря, искажённая.
P-значение: индульгенция XXI века
Отдельного разговора заслуживает сам порог статистической значимости — пресловутое p < 0.05. Эта цифра, выбранная Рональдом Фишером почти сто лет назад скорее как удобное правило большого пальца, превратилась в магическую границу между «наукой» и «не-наукой». Если ваш результат даёт p = 0.04, вы герой. Если p = 0.06 — неудачник. Разница между этими числами с практической точки зрения? Никакая. Но карьерная пропасть между ними — как Марианская впадина.
Проблема глубже, чем кажется. P-значение не говорит вам того, что вы думаете. Оно не показывает вероятность того, что гипотеза верна. Оно не показывает размер эффекта. Оно не показывает практическую значимость. Оно показывает только одну, довольно эзотерическую вещь: вероятность получить такие или более экстремальные данные при условии, что нулевая гипотеза верна. Попробуйте объяснить это журналисту, пишущему заголовок «Учёные доказали, что шоколад продлевает жизнь». Удачи.
В 2019 году более восьмисот учёных подписали письмо в Nature с призывом отказаться от понятия «статистическая значимость». Восемьсот подписей — и воз, что называется, и ныне там. Потому что p-значение удобно. Оно позволяет превращать мутный, неоднозначный научный результат в чёткое бинарное решение: да или нет, значимо или незначимо, публикуем или выбрасываем. Это костыль для тех, кто не хочет думать — и наркотик для тех, кто хочет публиковаться. Идеальная комбинация для поддержания статус-кво.
Кто починит сломанную машину
Было бы нечестно только ныть и не предложить выхода. Выходы, собственно, известны давно — просто их внедрение требует ломки стимулов, а ломать стимулы в академии всё равно что реформировать Ватикан изнутри.
Первое и самое очевидное — предрегистрация исследований: учёный заранее, до начала эксперимента, публикует свой план, гипотезы и методы анализа. Это лишает его возможности подгонять результат под нужный вывод. Формат Registered Reports, при котором журнал принимает решение о публикации ещё до получения данных, уже работает в нескольких десятках изданий. Результат? Доля отрицательных результатов в этих журналах подскочила до 60% — просто потому что учёным наконец разрешили честно рассказывать, что их гипотеза не подтвердилась.
Второе — открытые данные и открытый код. Если вы не можете показать свои сырые данные и скрипты анализа, у меня для вас плохие новости: вы не занимаетесь наукой. Вы занимаетесь фокусами. Движение Open Science набирает обороты, но до сих пор наталкивается на сопротивление тех, кому есть что прятать — а таких, судя по масштабам кризиса, немало.
Третье — перестать платить за новизну и начать платить за надёжность. Гранты на репликационные исследования, карьерные бонусы за воспроизведение чужих результатов, метрики, учитывающие не количество публикаций, а их проверяемость. Всё это технически возможно. Политически — примерно как отменить бюрократию указом сверху: все «за», но никто не начинает.
Наука не сломана — она работает ровно так, как её заставляет работать система стимулов. Когда за открытие платят, а за проверку нет, вы получаете много «открытий» и мало проверок. Когда журналы берут сенсации, а не нули, вы получаете литературу, перекошенную в сторону красивых результатов. Кризис воспроизводимости — это не скандал, не новость и не повод для паники. Это зеркало, в котором академическая система увидела собственное лицо и поспешно отвернулась. Настоящий вопрос не в том, можно ли починить науку, — а в том, хватит ли у нас коллективной воли перестать делать вид, что она не нуждается в ремонте. Пока учёные вынуждены выбирать между карьерой и честностью, выбор будет предсказуем. И воспроизводим — вот уж какая ирония — на сто процентов.