Добавить в корзинуПозвонить
Найти в Дзене
Занимательная физика

Физика тоже врёт? Кризис репликации добрался до «самой точной науки на свете»

Физика — последний бастион научной непогрешимости — начинает трещать по швам, и не от новых открытий, а от неспособности подтвердить старые. Пока психологи и социологи уже десять лет отмывают репутацию после волны разоблачений, физики стояли в сторонке с видом аристократов, наблюдающих за дракой черни. Мол, это у них там кризис, а у нас — формулы, ускорители и нобелевские премии. Но вот незадача: когда исследователи начали копать глубже, выяснилось, что и в «самой точной науке на свете» дела обстоят далеко не так безоблачно, как принято считать. Конечно, физика не скатилась до уровня прайминговых экспериментов, результаты которых воспроизводятся примерно так же часто, как встречаются единороги. Однако тревожные звоночки звенят всё громче, и делать вид, что их не слышно, становится всё труднее. Для тех, кто пропустил главный научный скандал последнего десятилетия, — краткий ликбез. Кризис репликации — это ситуация, при которой результаты научных экспериментов не удаётся воспроизвести не
Оглавление

Физика — последний бастион научной непогрешимости — начинает трещать по швам, и не от новых открытий, а от неспособности подтвердить старые. Пока психологи и социологи уже десять лет отмывают репутацию после волны разоблачений, физики стояли в сторонке с видом аристократов, наблюдающих за дракой черни. Мол, это у них там кризис, а у нас — формулы, ускорители и нобелевские премии.

Но вот незадача: когда исследователи начали копать глубже, выяснилось, что и в «самой точной науке на свете» дела обстоят далеко не так безоблачно, как принято считать. Конечно, физика не скатилась до уровня прайминговых экспериментов, результаты которых воспроизводятся примерно так же часто, как встречаются единороги. Однако тревожные звоночки звенят всё громче, и делать вид, что их не слышно, становится всё труднее.

Репликация: что это за зверь и почему он кусается

Для тех, кто пропустил главный научный скандал последнего десятилетия, — краткий ликбез. Кризис репликации — это ситуация, при которой результаты научных экспериментов не удаётся воспроизвести независимым исследователям. Казалось бы, наука на то и наука, что любой результат можно проверить. Повторил эксперимент — получил то же самое. Просто, элегантно, надёжно. Ну, в теории.

-2

На практике всё оказалось куда грязнее. В 2015 году проект Open Science Collaboration попытался воспроизвести сотню психологических исследований. Результат? Только 36% экспериментов дали те же результаты. Тридцать шесть процентов! Это означает, что почти две трети опубликованных и рецензированных работ, по сути, оказались научным мусором. Биомедицина не отстала — там показатели воспроизводимости колеблются в районе жалких 10–25% для доклинических исследований. На этом фоне физика, конечно, выглядит прилично. Но «прилично» и «безупречно» — это два принципиально разных слова.

Корень проблемы — не злой умысел (хотя и он встречается), а системные перекосы. P-hacking, то есть подгонка статистических данных под желаемый результат. Предвзятость публикации — журналы обожают яркие открытия и тихо хоронят «скучные» подтверждения. Давление грантовой системы, которая требует новизны, а не проверки чужих результатов. Всё это создаёт идеальный шторм, в котором тонет научная достоверность.

Физика — священная корова, которую давно пора подоить

Физика традиционно считается золотым стандартом научной строгости. И не без оснований. Когда LIGO в 2015 году зафиксировал гравитационные волны, это было подтверждено двумя независимыми детекторами одновременно. Когда бозон Хиггса был обнаружен в 2012-м, два разных эксперимента на Большом адронном коллайдере — ATLAS и CMS — пришли к одному выводу. Порог статистической значимости в физике элементарных частиц составляет пять сигма, что соответствует вероятности ложного срабатывания примерно один к трём с половиной миллионам. Для сравнения: в психологии используют порог p < 0.05, то есть один шанс из двадцати. Чувствуете разницу?

-3

Но вот в чём штука. Высокий статистический порог — это не магический щит от ошибок. Это просто более толстая стена, но даже толстые стены можно обойти. И физики, как оказалось, нашли несколько элегантных обходных путей — чаще всего даже не подозревая об этом.

Во-первых, эффект «заглядывания в данные» (look-elsewhere effect). Когда вы анализируете миллиарды столкновений частиц, шансы найти что-нибудь статистически значимое растут экспоненциально. Это как бросать дротики в стену, а потом рисовать мишень вокруг того места, куда попал. Формально — попадание в яблочко. Фактически — самообман.

Во-вторых, проблема слепого анализа. В идеале физики должны заранее определить, что именно они ищут, и только потом смотреть на данные. На практике это соблюдается далеко не всегда. Исследователи подстраивают параметры, меняют критерии отбора событий, экспериментируют с методами обработки — и всё это после того, как данные уже собраны. Знакомо? Это тот же p-hacking, только в смокинге.

Сложность как идеальное алиби

А теперь — главный парадокс, который делает ситуацию в физике по-настоящему коварной. Самые интересные, самые прорывные, самые важные эксперименты в современной физике практически невозможно воспроизвести. И дело не в лени или нечестности. Дело в деньгах, масштабе и времени.

-4

Возьмём тот же Большой адронный коллайдер. Его строительство обошлось примерно в 13 миллиардов долларов. Над ним работают более десяти тысяч учёных из ста с лишним стран. Эксперименты длятся годами. Данные обрабатывают глобальные вычислительные сети. И вот вопрос на миллиард: кто именно построит второй такой коллайдер, чтобы перепроверить результаты первого? Правильный ответ — никто. Потому что ни у кого нет лишних тринадцати миллиардов, да и физической территории подходящего размера не так уж много.

Это создаёт уникальную эпистемологическую ловушку. Наука по определению требует воспроизводимости, но современная физика построила себе экспериментальную инфраструктуру, которая делает воспроизводимость роскошью, а не нормой. И чем сложнее становятся эксперименты, тем шире эта пропасть.

Возьмём тёмную материю. Десятки экспериментов по всему миру пытаются её обнаружить — XENON, LUX-ZEPLIN, PandaX. Каждый использует свою технологию, свои детекторы, свои методы анализа. Иногда они противоречат друг другу. Один эксперимент заявляет о «намёках» на сигнал, другой на тех же энергиях не видит ничего. Кто прав? Ну, технически, оба — потому что условия эксперимента различаются настолько, что прямое сравнение невозможно. Удобно, не правда ли?

А ещё есть космология — область, где понятие «воспроизводимость» вообще приобретает философский привкус. Мы наблюдаем одну Вселенную. Одну. Контрольной группы нет. Повторить Большой взрыв в лаборатории пока не удавалось — и, честно говоря, слава богу. Так что космологические модели проверяются не воспроизведением, а согласованностью данных из разных источников. Это работает, но это не то же самое, что классическая репликация.

Когда великие тоже ошибаются

Скептики скажут: ладно, это всё теоретические опасения, а на практике физика работает как часы. Что ж, давайте посмотрим на практику.

В 2011 году коллаборация OPERA объявила, что нейтрино движутся быстрее света. Мир замер. Эйнштейн неправ? Специальная теория относительности летит в корзину? Журналисты захлёбывались от восторга, физики — от ужаса. А потом выяснилось, что причина — плохо закреплённый оптоволоконный кабель. Кабель. Результат, который мог перевернуть фундаментальную физику, оказался следствием небрежного монтажа.

-5

А вспомним эпопею с BICEP2 в 2014 году. Команда заявила об обнаружении первичных гравитационных волн — реликтовых следов космической инфляции. Пресс-конференции, шампанское, разговоры о Нобелевской премии. А через несколько месяцев выяснилось, что сигнал, вероятнее всего, был вызван космической пылью в нашей Галактике. Пылью. Самая грандиозная космологическая находка десятилетия оказалась галактическим мусором.

Эти случаи — не аномалии. Они симптомы системной проблемы. Когда эксперименты стоят миллиарды, длятся годы и задействуют тысячи людей, давление «найти что-нибудь» становится колоссальным. Никто не хочет потратить десять лет жизни и сказать: «Мы ничего не нашли». Это не делает карьеру, не привлекает гранты, не попадает на обложки журналов.

Почему это касается каждого

Кто-то пожмёт плечами: мол, пусть учёные сами разбираются, мне-то какое дело до нейтрино и тёмной материи? Дело, между тем, самое прямое.

Вся современная технологическая цивилизация стоит на фундаменте физики. Полупроводники, лазеры, GPS, ядерная энергетика, МРТ — всё это продукты физических теорий, подтверждённых экспериментами. Если экспериментальная база начинает шататься, то вместе с ней расшатывается доверие ко всей конструкции.

-6

Но есть и более тонкий аспект. Физика — это последний аргумент в спорах о том, что наука «работает». Когда антипрививочники или климатические скептики атакуют научный консенсус, защитники науки указывают на физику: посмотрите, GPS работает с точностью до метра, значит, теория относительности верна, значит, научный метод надёжен. Этот аргумент мощный. Но он работает только до тех пор, пока физика сохраняет репутацию неприступной крепости.

Если выяснится, что и в физике результаты не всегда воспроизводимы, что данные иногда подгоняются, что дорогие эксперименты невозможно перепроверить — антинаучная риторика получит мощнейшее подкрепление. И это уже не абстрактная академическая проблема. Это вопрос общественного доверия к науке как институту.

Впрочем, паниковать рано. Физика всё ещё остаётся дисциплиной с наиболее жёсткими стандартами проверки. Коллаборации из тысяч учёных, внутренние рецензии, слепой анализ данных — всё это работает куда лучше, чем в большинстве других наук. Но «лучше, чем у других» — не синоним «безупречно». И признание этого факта — не слабость, а зрелость.

Настоящая угроза для физики — не в том, что некоторые эксперименты не воспроизводятся. Настоящая угроза — в самоуспокоенности. В убеждённости, что «у нас пять сигма, значит, всё в порядке». В нежелании обсуждать структурные проблемы, потому что это якобы «подрывает доверие к науке». Нет. Доверие подрывает не честный разговор о проблемах. Доверие подрывает их замалчивание — до тех пор, пока замалчивать становится невозможно. Физика слишком важна, чтобы прятать её слабости за фасадом непогрешимости. И если кризис репликации чему-то научил мировую науку, то именно этому: лучше самим найти свои ошибки, чем дождаться, пока их найдёт кто-то другой.