Ошибка выжившего в лаборатории: почему отрицательный результат эксперимента важнее успешного отчёта

Стрелка прибора замерла, выдав идеально ровную линию. Три месяца калибровки датчиков и ночных дежурств у вакуумной установки привели к тому, что красивая гипотеза рассыпалась.

Типичная рабочая обстановка в лаборатории физики, где недели калибровки датчиков могут завершиться ровной линией на мониторе. Именно за такими сложными установками ученые проводят ночи в поисках ответов. esa.int

На экране горел чистый отрицательный результат. В такую минуту хочется закрыть журнал и сделать вид, будто этих недель упорного труда просто не существовало.

Когда приборы упрямо молчат

Психологическое давление в этот момент колоссальное. Академический мир устроен так, что финансирование, карьеры и профессиональный статус жестко привязаны к историям успеха. Если ты пришел к руководителю лаборатории с графиком, где пик вещества уходит в космос, ты молодец. Если ты принес чистый лист — кажется, будто ты просто зря потратил дорогие реактивы.

Но на самом деле это глубокое заблуждение. Научный поиск устроен сложнее. Отрицательный ответ оборудования означает, что одна конкретная дорожка проверена и закрыта. Мы точно знаем: здесь прохода нет. Фиксация таких моментов требует определенного мужества. Легко поддаться искушению и подкрутить параметры, чтобы выжать хоть какую-то видимость слабой корреляции, то есть взаимосвязи между явлениями. Но настоящая работа заключается в том, чтобы зафиксировать неудачу ровно в том виде, в каком её выдал прибор.

Эффект "ящика стола": как рождается публикационное смещение

Куда деваются эти ненаписанные статьи? Они отправляются на дно самого глубокого ящика письменного стола. Так возникает публикационное смещение.

Воронкообразный график, наглядно демонстрирующий феномен публикационного смещения в исследованиях. Асимметрия точек показывает, как незаметно исчезают из виду работы с нейтральными результатами. sciencedirect.com

Этим термином называют искажение, при котором вероятность публикации исследования в научном журнале зависит от его результатов. Издатели предпочитают звучные заголовки и законченные теории. Журналам нужны цитирования, а цитируют обычно то, что сработало.

В итоге базы данных оказываются заполнены исключительно триумфальными отчетами. Мы открываем профильный агрегатор статей и видим благополучную картину. Десять лабораторий применили метод и получили великолепный эффект. Мы не видим другие девяносто групп, которые повторили те же действия и получили абсолютный ноль. Из-за этого у внешнего наблюдателя, да и у молодых исследователей, складывается ложное ощущение простоты. Наука начинает казаться непрерывной чередой побед, хотя за каждым напечатанным листом скрывается невидимое кладбище чужих неоправдавшихся надежд.

Картография тупиков

Представьте картографа, который наносит на карту исключительно благополучные города, полностью игнорируя обрывы, болота и овраги.

Фрагмент старинной детальной карты с обозначением сложного рельефа и опасных участков местности. В научных исследованиях точное описание подобных препятствий ценится не меньше проложенных дорог. historykrasnogorsk.ru

Пользоваться такой схемой в реальном путешествии невозможно. Реальная наука работает точно так же: без фиксации неудачных попыток наше представление об исследуемом предмете остается однобоким и слишком глянцевым. Полноценное знание требует детального описания каждого ложного следа.

Понимание того, где именно гипотеза дает сбой, часто продвигает нас вперед сильнее, чем слепое везение. Когда научное сообщество начнет ценить детально описанный неудавшийся эксперимент наравне с громким успехом, работа исследователей станет гораздо продуктивнее. Ведь каждый честно зафиксированный провал — это не потерянное время, а важный указатель, который помогает другим не сбиться с пути.

Возможно, прогресс двигают не только те, кто первыми добежал до финиша, но и те, кто честно разметил для остальных непроходимые участки.

Интересно, сколько открытий мы совершили бы уже сегодня, если бы просто перестали прятать свои ошибки в ящик стола?