ДжонСноу, английский врач 19-го века, сегодня почитается как титан истории медицины. Но в 1854 году, когда он внес свой огромный вклад в науку — снял ручку с лондонского водяного насоса, — его высмеяли и отвергли как шарлатана. Он перенес инсульт и умер четыре года спустя, значение его гения все еще не признано.
Только через восемь лет после его смерти Джон Сноу был оправдан, по иронии судьбы одним из его самых откровенных прежних недоброжелателей. Сноу убедился, что в то время одна-единственная загрязненная водяная помпа вызвала массовую вспышку холеры в Лондоне. Ведущие ученые того времени отвергли его теорию, вместо этого поддерживая тогдашнюю догму о том, что виноват “плохой воздух”. В конце концов, доказательств, подтверждающих гипотезу Сноу, накопилось, и в 1866 году масштабы открытия Сноу стали очевидны. Он был прав насчет того, что холера передается через водопровод, и его откровение спасло бесчисленное количество жизней.
Наибольший прогресс в медицинской науке достигается за счет частых, но постепенных улучшений. Открытия, столь значительные, как у Сноу, чрезвычайно редки. Но когда они появляются, обычно проходят годы или десятилетия, прежде чем они принесут пользу человечеству в больших масштабах, потому что доведение важных инноваций из лаборатории до общественности - это трудоемкий процесс, которому еще больше препятствуют укоренившиеся доктрины. Пенициллин был открыт в 1928 году, но широкое общественное применение получил шестнадцать лет спустя, в 1944 году. Бессмысленно потерянные жизни, в то время как пенициллин кропотливо продвигался к крупномасштабному производству и распространению, бесчисленны.
Завершение проекта "Геном человека" в 2001 году, возможно, является самым последним крупным биомедицинским прорывом (CRISPR может быть соперником здесь, но во многих отношениях является производным от проекта "Геном человека"). Планирование этой инициативы началось примерно в 1984 году. Сегодня прагматические применения проекта "Геном человека" на популяционном уровне только начинают просачиваться. Океан скуки, который лежит между определением последовательности ДНК человека и использованием этой информации для улучшения жизни большого числа людей, огромен.
Serendipity contributes to some major scientific advances — penicillin was discovered by accident — but most breakthroughs come from years of tedious work during which very little real innovation occurs. Progress is thus slow on the front end due to the minutiae of science itself, and on the back end because of challenges inherent in scaling-up discoveries.
Но большая часть населения не воспринимает медлительность медицинского прогресса. Чрезмерное толкование и преувеличение в средствах массовой информации создают у общественности впечатление, что медицинская наука регулярно достигает успехов, сравнимых с достижениями доктора Сноу, и что большая часть современной медицины основана на надежных доказательствах, которые развиваются с головокружительной скоростью. Заголовки ежедневно провозглашают какую-нибудь новую великолепную историю биомедицинского успеха, сообщая относительные цифры и опуская контекст. Механизм пропаганды медицинских СМИ гарантирует, что, поскольку бремя хронических заболеваний, связанных с образом жизни, угрожает сократить продолжительность жизни американцев впервые за десятилетия, массы думают, что медицина обладает знаниями, способными реально изменить ситуацию. большая часть населения не замечает медлительности медицинского прогресса. Чрезмерное толкование и преувеличение в средствах массовой информации создают у общественности впечатление, что медицинская наука регулярно достигает успехов, сравнимых с достижениями доктора Сноу, и что большая часть современной медицины основана на надежных доказательствах, которые развиваются с головокружительной скоростью. Заголовки ежедневно провозглашают какую-нибудь новую великолепную историю биомедицинского успеха, сообщая относительные цифры и опуская контекст. Механизм пропаганды медицинских СМИ гарантирует, что, поскольку бремя хронических заболеваний, связанных с образом жизни, угрожает сократить продолжительность жизни американцев впервые за десятилетия, массы думают, что медицина обладает знаниями, способными реально изменить ситуацию.
Международный комитет по проверке подлинности клеточных линий ведет базуданных ошибочно идентифицированных клеток, используемых в биомедицинских исследованиях. Ученые, изучающие основные функции клеток или пытающиеся открыть новые лекарства, проводят большую часть своих исследований на клетках, которые они получают от компаний, занимающихся поставкой биоматериалов по почте, или из запасов, хранящихся в морозильной камере их лаборатории. Предположение, лежащее в основе всей их работы, состоит в том, что клетки, на которых они проводят свои эксперименты, являются подходящими моделями для явлений, которые они исследуют.
Это отличная теория, но многие ученые понятия не имеют, насколько далеко от реальности отклоняется эта теория. А те, кто это делает, часто предпочитают закрывать глаза, потому что проблема настолько глубока, что может свести на нет десятилетия работы всей их жизни.
Оказывается, что ошеломляющая часть клеток, используемых для фундаментальных научных исследований, идентифицируется неправильно. Другими словами, ученые, которые думают, что изучают здоровые клетки печени или клетки рака молочной железы, часто на самом деле работают с клетками рака шейки матки. Во многих случаях ошибочен даже вид — исследователи, которые думают, что работают с человеческими клетками, на самом деле могут анализировать клетки крыс. Проблема носит глобальный характер, и цифры поражают. Недавнийстатья, опубликованная Федерацией американских обществ экспериментальной биологии, показала, что 85% клеточных линий, созданных в Китае, ошибочно идентифицированы. Другая недавняя статья, опубликованная в PLoS One, содержит мрачный обзор распространенности ошибочной идентификации клеток в научной литературе и тщетности попыток обойти проблему:
“ В то время как проблемы с неправильной идентификацией клеточных линий были известны на протяжении десятилетий, неизвестное количество опубликованных работ остается в обращении, сообщая о неправильных клетках без предупреждения или исправления. … Мы нашли 32 755 статей, в которых сообщается об исследованиях с неверно идентифицированными клетками, которые, в свою очередь, цитируются примерно в полумиллионе других статей. Загрязнение литературы не уменьшается с течением времени и не ограничивается странами, находящимися на периферии мировой науки. Многолетние и часто спорные попытки остановить ошибочную идентификацию клеточных линий оказались недостаточными ”.
Неправильная идентификация клеточной линии не только подрывает исследования, которые напрямую опирались на неверно идентифицированные клетки, но и подрывает гипотезы, сформированные другими исследователями на основе опубликованных работ, в которых использовались клетки с неправильной маркировкой. Результатом является ошеломляющая трата денег и времени, которая еще больше задерживает кульминацию научного прогресса.
Неправильная идентификация клеток пронизывает научную литературу, насчитывающую десятилетия. Слои последующего цитирования ошибочных статей скрывают происхождение того, что, вероятно, является астрономическим количеством неправильных предположений в биологической науке сегодня. Вполне вероятно, что многие ученые потратили впустую всю карьеру, делая ошибочные выводы из-за неправильной идентификации клеточной линии.Сумма денег налогоплательщиков, которая идет на финансирование научных исследований, которые даже не проводятся на клетках нужного типа, вероятно, представляет собой одну из самых больших трат денег потребителей во всей биомедицине.
Фундаментальныйпринцип науки заключается в том, что результаты должны быть воспроизведены. Один эксперимент не устанавливает новых истин. Результаты должны быть воспроизведены другими, используя методы, описанные первоначальными исследователями. Репликация является ключом к обеспечению того, чтобы выводы не были ложными. Тем не менее, наука в настоящее время страдает от множества невоспроизводимых результатов исследований.
“Более 70% исследователей пытались и не смогли воспроизвести эксперименты другого ученого, и более половины не смогли воспроизвести свои собственные эксперименты”.
Конечно, неправильная идентификация клеток является основным фактором кризиса репликации в фундаментальной биологической науке. Однако статистика и предвзятость публикаций в совокупности образуют еще одно грозное псевдонаучное сооружение, которое выдает невоспроизводимые результаты во всех научных жанрах и вводит общественность в заблуждение.
Печально известное значение P лежит в основе вопроса. Проще говоря, значение P - это произвольная оценка вероятности того, что результаты данного эксперимента обусловлены случайностью. Общепринятый в научных дисциплинах порог отсечения составляет 5%. Другими словами, пока статистика говорит, что вероятность того, что данный результат обусловлен только случайностью, составляет 5% или меньше, тогда результат считается “значительным”. На первый взгляд это может показаться хорошим, но при более тщательном рассмотрении в сочетании с концепцией предвзятости публикации ограничения быстро возрастают.
Значение 5%, или 0,05, P-значения совершенно произвольно. Человек по имени Рональд Фишер придумал это еще в 1920-х годах. Он основан на грубом приближении того, какая часть нормального (гауссовского) распределения будет находиться в пределах двух стандартных отклонений от среднего значения — около 95%. (Я не собираюсь вдаваться в проблемы с нормальным распределением в этом посте, но я рекомендую всем, кто интересуется этой концепцией, прочитать
Книга Черный лебедь.)
P-значение 0,05 означает, что один результат из 20 будет случайным. Но сколько миллионов результатов получают в результате научных экспериментов каждый год по всему миру? Неисчислимое число. Практически гарантировано, что тысячи результатов, вызванных только случайностью, каждый год выходят из области теории и вторгаются в то, что мы осмеливаемся называть реальностью. И это результаты, которые публикуются.
Ученые, работающие в академических кругах, должны, как говорится, опубликовать или погибнуть. А журналы, в которых эти озабоченные ученые пытаются опубликовать свои результаты, должны зарабатывать деньги, что требует взаимодействия с читателями. Результаты, которые не являются “статистически значимыми”, скучны. Ни один читатель не захочет платить за журнал, полный статей, в которых говорится: “Мы провели это исследование, используя действительно тщательные методы, и ничего не произошло, это не сработало. Конец истории”. Однако, если бы наука была полностью прозрачной, и результаты всех экспериментов были опубликованы, это именно то, что было бы сказано в подавляющем большинстве статей.
Неспособность отрицательных результатов исследования когда-либо увидеть свет, создает ошеломляющие потери. Вполне вероятно, что многие базовые эксперименты повторялись снова и снова с неинтересными результатами и впоследствии никогда не публиковались. Затем приходит другая исследовательская группа и проводит эксперимент снова (потому что они не знали о предыдущих нулевых результатах) и, по чистой случайности, находит положительный результат. Конечно, этот результат интересен и будет опубликован. Этот основной цикл - причина, по которой ныне известная статья Джона Иоаннидиса 2005 года была озаглавлена “Почему большинство опубликованных результатов исследований являются ложными”.
Даже для клинических исследований, которые требуют огромных затрат времени и ресурсов, публикуется лишь около половины исследований. Возможно, это неудивительно; в конце концов, ни одна фармацевтическая компания не хочет публиковать результаты финансируемого ими исследования, в котором говорится, что их препарат не работает. Фактически, честное сообщение об отрицательных результатах об одном из их собственных продуктов ставит фармацевтические компании перед этической головоломкой, когда принимается во внимание фидуциарный долг перед акционерами. Во многих случаях фармацевтические компании в основном пишут отчеты об “исследованиях”, в которых говорится все, что они хотят, а затем платят ученым, чтобы те вписали в них свои имена. Институт медицины недавно резюмировал этот вопрос следующим образом:
“... недавние новостные сообщения, судебные разбирательства, исследования и объявления учреждений задокументировали множество тревожных ситуаций, которые могут подорвать доверие общественности к медицине [например] ... академические исследователи ставят свои имена на рукописях, хотя они впервые стали участвовать после сбора и анализа данных и после первых черновиковбыли написаны частными лицами, которым платит промышленность ”.
Настоящие прорывы в нашем понимании реальности, несомненно, будут редкостью, когда так много распространяемой “науки” является либо статистической случайностью, либо выдумкой.
Несмотря на серьезные проблемы, с которыми сталкивается наука, научныйметод по-прежнему остается нашим лучшим методом раскрытия истины о мире. Что, пожалуй, вызывает наибольшую тревогу, так это распространение псевдонаучных “доказательств”, используемых для продвижения программ. Эпоха фейковых новостей, в которую мы сейчас живем, поставила опрос на пьедестал. Опрос маскируется под научный инструмент, но на самом деле является пропагандистским приемом.
Заголовки новостей изобилуют объявлениями о том, что новые “данные” поддерживают ту или иную позицию. Во многих случаях эти “данные” получены из опросов, которые очень подвержены практически всем известным науке предубеждениям. “Исследователи”, которые разрабатывают вопросы для опроса, имеют предубеждения, о которых они могут даже не подозревать, а предвзятость отбора фактически гарантирует, что респонденты не будут репрезентативными для населения.
Опросы особенно уязвимы для формы статистических манипуляций, известной как P-хакинг. P-взлом опроса - это, по сути, способ для “исследователей” гарантировать, что они найдут “доказательства”, подтверждающие их “гипотезу”. В принципе, это выглядит так: разработайте опрос, в котором одни и те же вопросы задаются разными способами, и только случайно вы в конечном итоге получите “статистически значимый” результат, с помощью которого можно создавать заголовки в СМИ.
Наука о питании, как известно, зависит от данных опросов, и это основная причина, по которой через день меняются “доказательства” того, какой режим питания на самом деле является здоровым. Не все исследователи в области питания просто пытаются продвинуть повестку дня, но питание и питание настолько сложны, что опросы часто являются единственным возможным способом сбора данных. Таким образом, хотя это и не обязательно злонамеренно, большая часть “доказательств” в области питания является более или менее просто статистической болтовней.
Кроме того, почти все “исследования”, проводимые в контексте острых социальных или политических проблем и публикуемые в качестве заголовков в средствах массовой информации, являются обзорными исследованиями, в которых, вероятно, использовалась та или иная форма P-хакинга. Имейте это в виду в следующий раз, когда увидите по телевизору какую-нибудь говорящую голову, пропагандирующую новые “данные” в поддержку партийной линии.
Главная идея заключается в том, что даже наш самый почитаемый интеллектуальный институт -наука — имеет глубокие недостатки во многих тех же аспектах, что и инструменты, которые мы презираем, — пропагандистские опросы.
Мы живем во времена, когда необходимо независимое критическое мышление.
Многие из нас предполагают, что в обществе есть много людей, которые понимают вещи объективно. Реальность такова, что основа человеческого знания стоит на гораздо более зыбкой почве, чем большинство людей осознают.
Мы должны быть готовы плавать в море дезинформации на корабле, построенном из осмотрительности и здорового скептицизма. Правда есть, но ее раскрытие - сложная работа, и это, конечно, происходит не так часто, как утверждают заголовки новостей. Когда блестящий исследователь делает прорыв, способный поколебать общепринятые принципы, его часто высмеивают, как доктора Сноу, в то время как человечество годами пребывает в статус-кво.