И никому до этого нет дела.
В 2011 году Бен Мол, профессор акушерства и гинекологии из Университета Монаша в Мельбурне, наткнулся на опровержение статьи про миому матки и бесплодие, опубликованной автором из Египта. Журнал отзывал исследование, поскольку в нем сообщались те же цифры, что и в более раннем испанском исследовании – за исключением того, что последнее посвящалось полипам матки. Оказалось, египетский "ученый" просто скопировал часть статьи о полипах и поменял название заболевания.
"В этот момент я насторожился", – говорит Мол. И не только как читатель публикуемых статей. Тогда он работал редактором в European Journal of Obstetrics and Gynaecology, а также часто рецензировал работы, подаваемые в другие журналы. Вскоре к нему на стол попали две работы, содержащие явно сфабрикованные данные. Он отклонил их. Но через год он снова наткнулся на них, только уже с измененными данными и опубликованные в другом журнале.
С тех пор он объединил усилия с другими исследователями, чтобы изучить работы авторов, уличенных в фабрикации данных. Везде, где был виден дым, был и огонь. В таблицах с характеристиками пациентов были только четные числа. Были значения, маловероятные в клинической практике. Неправдоподобное соотношение полов младенцев 40:60, когда будущие матери якобы отбирались случайным образом. Часто встречались клинические исследования, скорость завершения которых поражала воображение.
Сфабрикованная (не)реальность
Мол с коллегами направили свои опасения по поводу > 750 статей в журналы, которые их опубликовали. Но чаще всего либо совсем ничего не происходит, либо расследование длится годами. На данный момент отозвано только 80 из отмеченных ими исследований. Хуже того, многие из них были включены в систематические обзоры – своего рода сводки исследований, которые служат основой для клинической практики.
Как следствие, миллионы пациентов могут получать неправильное лечение. Один из примеров касается антенатального введения кортикостероидов женщинам, которым проводится плановое (37+ нед.) кесарево сечение. Эти инъекции предназначены для профилактики респираторных осложнений у новорожденных. Существует опасение, что они могут привести к повреждению мозга ребенка, но эта практика была поддержана в кокрейновском обзоре от 2018 года (Cochrane Database – это благотворительная организация по продвижению доказательной медицины). Мол и ко. изучили этот обзор и обнаружили, что в него включены три исследования сомнительного качества. Пересмотренный обзор, опубликованный в 2021 году, в котором эти три исследования были исключены, показал, что польза от введения кортикостероидов в таких случаях неясна.
Благодаря таким "сыщикам", как Мол, частично или полностью сфабрикованные статьи обнаруживаются все чаще. В базе данных Retraction Watch перечислено около 19 000 отозванных статей по биомедицинским наукам (см. График 1). В 2022 году в этой области было зарегистрировано около 2600 отзывов – в два с лишним раза больше, чем в 2018 году. Некоторые из них стали результатом непреднамеренных (добросовестных) ошибок, но в подавляющем большинстве случаев речь идет о тех или иных нарушениях (см. График 2).
Однако журналы могут потратить годы на публикацию опровержения (а могут и не тратить время вовсе). Если исходить из имеющихся цифр, то примерно 1 из 1000 статей будет отозвана. Звучит не так уж плохо. Однако Иван Орански, один из основателей Retraction Watch, считает (основываясь на различных исследованиях этого вопроса и сообщениях "сыщиков"), что примерно каждая 50-я статья содержит результаты, которые недостоверны из-за намеренных подтасовок, плагиата или серьезных ошибок.
Ноги у большинства сфабрикованных статей растут из двух мест. Первые (особенно те, в которых утверждается о клинических исследованиях) являются продуктами жизнедеятельности отдельных мошенников или групп мошенников. К этой категории относятся исследования, обнаруженные доктором Молом. Вторые, чаще всего претендующие на фундаментальную науку, например, молекулярную биологию, пишутся за вознаграждение фирмами, известными как "бумажные фабрики". Часто они создаются путем копирования опубликованных статей и замены гена или болезни, о которых говорится в порядочной статье, на другие.
Согласно базе данных Retraction Watch, более четверти всех 19 000 опровержений приходится на 200 авторов с наибольшим количеством опровержений. Многие из наиболее плодовитых мошенников являются старшими научными сотрудниками в крупных университетах или больницах. Лишь немногие из них открыто говорят о своих мотивах, побуждающих их подделывать результаты исследований. Но признания тех, кто это сделал, говорят о том, что может толкнуть на тот же путь остальных.
Не нае… – не проживёшь
Научные исследования – это тяжелый труд, а их результаты часто оказываются разочаровывающе двусмысленными ответами на смелые гипотезы исследователя. У Дидерика Стапеля, некогда профессора психологии Тилбургского университета в Нидерландах, было отозвано 58 статей после того, как выяснилось, что он сфабриковал исследования. По его же словам в мемуарах-исповеди "Faking Science", он делал это потому, что иначе не удавалось найти "простое, ясное, красивое и элегантное" решение. Однако, подобно многим другим баснописцам, им двигали карьерные мотивы. Афоризм "публикуйся или умри"отражает академическую истину. Большой список публикаций имеет решающее значение для продвижения по службе или для перехода в другое учебное заведение, чтобы получить лучшую работу. Но журналы предпочитают исследования, которые показывают сильные положительные результаты, а значит, большая часть усилий исследователя, с точки зрения карьерного роста, оказывается напрасной.
Публикация большого количества исследований позволила некоторым мошенникам стать ведущими экспертами в своих областях и получить престиж в профессии – по крайней мере до тех пор, пока их дела не пойдут наперекосяк. Как отмечает Дороти Бишоп, в прошлом психолог-экспериментатор из Оксфордского университета, которая добровольно занимается выявлением проблемных исследований, такие мошенники часто руководят исследовательскими группами или сотрудничают с другими исследовательскими центрами. Когда подлог обнаруживается, последствия затрагивают и этих коллег. "Довольно часто, – говорит она, – у молодых людей из-за этого полностью рушится карьера".
Эта проблема особенно актуальна в Китае. Для получения лучших мест в больницах часто требуются нереальные показатели участия в публикациях, а те, кто публикуется в ведущих журналах, получают большие денежные премии. Неудивительно, что в Китае процветает "бумажная промышленность". Действительно, почти во всех опровержениях, связанных с "бумажными фабриками", указаны китайские авторы. Среди статей, поданных в журналы, примерно в пятой части есть хотя бы один автор из китайского учреждения, но на эту пятую часть приходится почти половина статей, которые впоследствии были отозваны.
Однако анализ публикаций, отправленных в два журнала, представляющих большой интерес для "бумажных фабрик", показывает, что проблема выходит далеко за пределы Китая. Было обнаружено, что авторами подделок являются представители более чем 70 стран. И хотя наиболее многочисленными являются авторы из стран со средним уровнем дохода (включая Китай, см. График 3), некоторые из наиболее значимых подделок клинических исследований, о которых стало известно, были созданы в США, Канаде, Европе и Японии.
Cколько мошенников никогда не попадаются, остается только догадываться. Как отмечает доктор Бишоп, "мы знаем только о тех, кто не очень хорош в этом деле. Если кто-то очень хорош в мошенничестве, вы его не найдете". И с гнильцой не просто пара яблочек. В 2009 году в журнале PLOS ONE был опубликован обзор 18 опросов среди ученых, в основном американских, в которых задавался вопрос о мошенничестве. Хотя только 2% респондентов признались, что сами фальсифицировали данные, 14% ответили, что знают кого-то, кто это делал. Аналогичным образом треть опрошенных признались в других сомнительных методах проведения исследований, таких как отказ от "неудобных" данных на основании "интуиции" или внесение важных изменений в протокол исследования в процессе его проведения. Но они указали пальцем на 72% своих коллег.
США в этом плане не исключение. В ходе опроса ученых в Великобритании, опубликованного в 2016 году, почти каждый пятый сообщил, что сфабриковывал данные. А в недавнем опросе исследователей в Нидерландах 10% представителей биологических и медицинских наук признались, что фальсифицировали или фабриковали данные.
Многие фейковые работы представляют собой исследования "под копирку", поддерживающие методы лечения, которые уже были подтверждены другими работами. В большинстве своем они вряд ли повлияют на клиническую практику. Но некоторые мошенники были вдохновителями для конкретных медицинских вмешательств, которые оказались бесполезными или даже вредными.
Например, тяжелобольным пациентам иногда предоперационно вводили растворы гидроксиэтилкрахмала для повышения артериального давления. Это было частично основано на 7 ныне дискредитированных исследованиях Йоахима Болдта, немецкого анестезиолога. Пересмотренный обзор данных, опубликованный в 2013 году в Journal of the American Medical Association, после того как были обнаружены его фальсификации, пришел к выводу, что инфузии препаратов на основе гидроксиэтилкрахмала в подобных обстоятельствах вызывают повреждение почек и иногда приводят к смерти пациентов.
Аналогичным образом, в течение > 10 лет кардиологическим пациентам в Европе давали бета-блокаторы перед операцией, надеясь уменьшить количество инфарктов и инсультов – эта практика опиралась на исследование 2009 года, которое, как выяснилось в итоге, было основано, по крайней мере частично, на сфабрикованных данных. По одной из оценок, такой подход мог стать причиной 10 000 смертей в год только в Великобритании. А систематический обзор, показавший, что вливание больших доз раствора глюкозы снижает смертность после черепно-мозговой травмы, был отозван после того, как в ходе расследования не удалось найти доказательств того, что хотя бы одно из включенных в него исследований, которые приписывались одному и тому же исследователю, действительно имело место.
Выявление сфабрикованных работ часто начинается со случайного обнаружения одной, а затем просмотра других, написанных той же рукой, как это сделал доктор Мол. "Многие проблемы становятся очевидными только тогда, когда вы просматриваете все публикации одного автора. Так что по одной статье выявить их удается не всегда", – говорит Элисон Авенелл из Абердинского университета, которая входит в состав группы специалистов, поднявших вопрос о сотнях клинических исследований, опубликованных несколькими исследовательскими группами. По ее мнению, в сомнительных работах часто встречаются необычно сильные эффекты от заявленных методов лечения, выдающиеся показатели отсева участников или появление одних и тех же данных в разных отчетах об исследованиях. "Перед тобой явления, которые почти невозможны статистически", – говорит она.
Доктор Карлайл и другие ученые разработали различные статистические тесты для выявления необычных цифр в отдельных работах. Будучи редактором журнала Anaesthesia, он использовал такие тесты для всех 526 клинических исследований, представленных в журнал в период с 2017 по 2020 год. Когда он проверил работы, авторы которых не представили исходные данные по отдельным пациентам, то обнаружил, что в 2% из них содержатся ложные данные. В тех работах, по которым он все же смог изучить индивидуальные данные, этот показатель вырос до 44%, из которых 26%, он оценил как "фатально ошибочные".
Проведение подобных проверок могло бы остановить публикацию множества фальшивых статей. Однако, несмотря на то, что рецензенты, проверяющие журнальные статьи на предмет публикации, "получают все эти дополнительные файлы и наборы данных", говорит Лиза Беро из Кокрейн, "большинство их не смотрят". Более того, хотя авторы часто говорят, что исходные данные для их статей будут предоставлены по запросу, исследование, проведенное в 2022 году, показало, что 93% авторов не предоставляют их по запросу других исследователей. "Вы просите исходные данные, и тут, боже мой, выясняется, в каком полном опасностей мире мы живем", – говорит Ян Робертс из Лондонской школы гигиены и тропической медицины. Наводнения, землетрясения, термиты, украденные ноутбуки – он видел всевозможные оправдания потери данных.
Одинаковые снежинки
Кокрейновская организация ведет базу данных отозванных исследований, и ее систематические обзоры пересматриваются по мере необходимости. Но это редкость для подобных обзоров, отчасти потому, что отозванные работы часто не отмечаются в онлайн-библиотеках как таковые, и поэтому их продолжают цитировать, как если бы они были действительными исследованиями. Свою роль играет и равнодушие: многие исследователи не желают исправлять ситуацию, даже когда им говорят, что в их обзоры включены сфабрикованные исследования. По словам Джека Уилкинсона, специалиста по биостатистике из Манчестерского университета, они говорят, что «на тот момент все было верно».
Например, доктор Авэнелл и ее коллеги оценили влияние 27 отозванных клинических исследований, охватывающих несколько заболеваний. Эти работы были включены в 88 систематических обзоров и клинических руководств. Исследователи посчитали, что в половине из них выводы могут измениться, если убрать отозванные исследования. Они уведомили авторов всех обзоров об опровержениях. Только половина из них потрудились ответить. Год спустя в 39 из 44 обзоров, которые могли бы быть затронуты, никаких действий предпринято не было.
Не менее удручающие открытия были сделаны в последние годы и в отношении статей, произведенных на "бумажных фабриках". Многие из них настолько убогие, что любой серьезный исследователь сочтет их шуткой, и поэтому они часто публикуются в малоизвестных периодических изданиях, готовых напечатать что угодно за плату, однако некоторые выглядят достаточно солидно, чтобы быть принятыми ведущими научными журналами. Теперь выясняется, что они опубликовали сотни таких работ. В результате анализа 53 000 статей, поданных в журналы по различным дисциплинам шестью издательствами, от 2 до 46% из них были признаны подозрительными.
Статьи по молекулярной биологии, специализирующиеся на бумагомарании, часто содержат изображения вестерн-блотов – лабораторного метода, используемого для изучения белков. Такие изображения можно найти в статьях, посвященных изучению того, как тот или иной препарат воздействует на клетки человека. Два вестерн-блота не могут выглядеть одинаково, поэтому зоркий глаз может обнаружить дубликаты. Элизабет Бик, голландский микробиолог, ставшая штатным детективом по поддельным исследованиям, обладает исключительным талантом делать именно это. Используя свои "глаза, сопоставляющие шаблоны, и много кофеина", как она выразилась в недавней статье, она проанализировала более 100 000 работ, основанных на блотах, и нашла в 6 500 из них доказательства ошибок или мошенничества.
Исследования с фальсификацией вестерн-блотов могут показаться менее важными, чем сфабрикованные клинические исследования. Но рассмотрим недавнюю полемику, связанную с серией влиятельных работ о причинах болезни Альцгеймера, ведущим автором которых является Сильвен Лесне из Университета Миннесоты (который проводит расследование по этому поводу).
Доктор Бик и другие ученые недавно обнаружили, по их словам, доказательства манипулирования изображениями, в том числе изображениями блотов, в этих исследованиях. Другие ученые пытались и не смогли повторить результаты эпохального исследования доктора Лесне, опубликованного в журнале Nature в 2006 году, в котором, как оказалось, содержатся важнейшие доказательства гипотезы, связывающей болезнь с так называемыми амилоидными бляшками в мозге, и которое является одной из самых цитируемых работ в области исследований болезни Альцгеймера. Именно эта статья могла направить все научные исследования этой гипотезы в неправильное русло, указав пальцем на одну конкретную форму бета-амилоида – белка, образующего бляшки. В июле 2022 года в журнале Nature было опубликовано выражение озабоченности, а также инициировано расследование.
Аналогичная картина наблюдается и в генетике. В исследовании, опубликованном в прошлом году, Дженнифер Бирн, исследователь рака из Сиднейского университета, возглавила группу, которая проверила почти 12 000 статей с помощью Seek & Blastn, программного обеспечения, которое они разработали самостоятельно, чтобы проверить характеристики веществ, называемых реагентами нуклеотидной последовательности (NSR).
NSR – это короткие фрагменты ДНК или РНК, которые являются предметом многих генных исследований. Они предназначены для связывания с определенными участками природного генетического материала. Seek & Blastn извлекает последовательности этих реагентов из статей и сравнивает их с последовательностями в Blastn, общедоступной базе данных последовательностей, чтобы проверить, соответствуют ли они своим предполагаемым генетическим целям. Команда обнаружила, что в 6% статей содержатся ошибки, свидетельствующие об их производстве на "бумажной фабрике".
Последствия подобных поддельных генетических исследований могут быть такими же далеко идущими, как и у сомнительных вестерн-блотов. По оценкам доктора Бирн и ее соавторов, до 100 000 опубликованных работ о человеческих генах могут исходить от "бумажных фабрик", и четверть из них таковы, что "могут дезинформировать будущее развитие терапий для человека".
Дисциплинирование дисциплины
Часто утверждается, что наука самокорректируется. И это действительно так: если заявленный результат достаточно важен, то неспособность его воспроизвести или последующей работы соответствовать ему в конце концов будет замечена. Однако в краткосрочной перспективе легко спрятаться в тени. Даже соавторы ученого, фабрикующего данные, то есть те, кто находится ближе всего к нему, могут не заметить, чем занимается преступник. В комплексных исследованиях конкретного заболевания участвуют несколько типов исследователей, которые по определению не являются экспертами в областях друг друга. Как замечает доктор Бишоп, "вы просто склонны доверять тем кусочкам данных, которые вам предоставил кто-то другой".
Более того, даже после того, как опубликованную работу помечают как содержащую сфабрикованные данные, самокоррекция часто не срабатывает. По словам д-ра Уилкинсона, существует "огромный разброс" в том, как журналы и издательства реагируют на предупреждения о проблемах – проводят ли они вообще расследование, сколько времени требуется для принятия решения и что они делают по результатам этого.
Доктор Авэнелл утверждает, что, по ее опыту, обычно требуется два-три года, чтобы добиться опубликования выражения озабоченности или опровержения. "Единственный способ добиться опровержения – это снова и снова донимать журналы", – говорит она. "Если просто отправить им разовое письмо с подробным описанием всех проблем, очень маловероятно, что кто-то что-то предпримет". Д-р Беро говорит, что многие рецензенты Кокрейновского центра считают пустой тратой времени предупреждать редакторов журналов о выявленных ими проблемных исследованиях, поэтому они не занимаются этим. "Многие наши авторы писали редакторам и не получали никакого ответа, либо редактор ничего не предпринимал для опровержения статьи, либо вообще не проводил расследования", – замечает она.
Одна из проблем заключается в том, что в журналах редко есть сотрудники, например, статистики, обладающие опытом, необходимым для решения подобных вопросов. Издатели, в свою очередь, получают прибыль, напрямую зависящую от количества публикаций, а не от расследования потенциальных опровержений. Они также опасаются судебных исков со стороны воинственных мошенников. Поэтому они часто пасуют мяч учреждениям, в которых работают подозреваемые в мошенничестве.
В США институты, получающие федеральные гранты (а это почти все серьезные институты), обязаны следовать правительственным правилам, согласно которым они должны расследовать обвинения в неправомерном поведении исследователей в течение 60 дней. Но у многих из них на это уходит больше года или двух, говорит К. К. Гунсалус, специалист по этике из Университета Иллинойса, который проводил подобные расследования.
Just do it
В некоторых случаях для задержки есть веские причины. Одна из них – трудности с поиском экспертов, компетентных в проведении сложных анализов. Другая причина заключается в том, что расследование одной статьи может выявить другие подозрительные публикации. Однако слишком часто "чувство срочности очень слабо выражено", – говорит доктор Гунсалус. Цель – решить, следует ли уволить исследователя, а не желание защитить целостность научной литературы. Пока решение об увольнении не принято, университет обычно хранит молчание.
Даже в США качество таких исследований часто оставляет желать лучшего, говорит доктор Гунсалус. А во многих местах нет соответствующих нормативных актов. В западных странах люди, уволенные за нарушение дисциплины, иногда продолжают заниматься тем же самым в других странах, говорит доктор Бишоп. В своем списке замечаний, связанных с 172 работами, опубликованными группой под руководством Затоллеха Асеми из Кашанского университета медицинских наук (Иран), Эндрю Грей из Оклендского университета (Новая Зеландия) и его коллеги отмечают, что пять из семи вице-ректоров его университета являются соавторами хотя бы одной из этих работ.
Университеты также не поощряют людей, осведомленных о нарушениях, к действиям, хотя это может остановить производство сфабрикованных исследований в первую очередь. В их правилах обычно много говорится о последствиях клеветнических обвинений, но мало или совсем ничего не говорится об обязанности бить тревогу по поводу мошенничества.
Немногие "разоблачители» обладают упорством, как у доктора Бик. После того как она выразила обеспокоенность по поводу более чем 60 работ Дидье Раульта, ныне вышедшего на пенсию профессора университетской больницы в Марселе, она получила угрозы в Интернете, а ее домашний адрес был опубликован в Твиттере одним из его коллег. Доктор Раульт также подал на нее в суд за попытку шантажа и преследования, и это действие французский Национальный центр научных исследований, правительственное агентство, осудил как "судебное преследование научных споров и критики". В 2021 году она получила премию Джона Мэддокса, присуждаемую совместно британской благотворительной организацией Sense about Science и журналом Nature, редактором которого Мэддокс был в течение многих лет, за "мужество и честность в отстаивании здравого смысла науки и доказательств".
Есть и некоторые признаки надежды. Помимо сканирования баз данных по опровержениям на предмет новых записей и перепроверки анализов, включающих их, Кокрейн также начали проверять работы на добросовестность. В недавнем Кокрейновском обзоре исследований лекарств, предназначенных для предотвращения преждевременных родов, по таким основаниям были исключены 44 исследования, то есть каждое четвертое из тех, что были в исходном списке.
Аналогичным образом британский Национальный институт исследований в области здравоохранения оплачивает проект INSPECT-SR, возглавляемый д-ром Уилкинсоном, который разрабатывает инструменты проверки целостности систематических обзоров, подобных тем, что проводятся Кокрейн. STM, ассоциация издательской индустрии, работает над аналогичной системой для выявления фальсификаций в представленных работах. По словам Йориса ван Россума, возглавляющего эту работу, идея заключается в том, что система будет давать редакторам сигналы о подозрительных признаках, обычно используемых "бумажными фабриками", таких как дублирование изображений, подача одной и той же статьи одновременно в несколько журналов, авторы, не обладающие опытом в данной области, и так далее.
И доктор Уилкинсон, и доктор ван Россум опасаются гонки вооружений между фабрикантами и теми, кто занимается их поимкой. Эти опасения усиливаются в связи с растущей изощренностью инструментов искусственного интеллекта (ИИ), таких как ChatGPT. В недавнем исследовании, в котором его попросили сгенерировать 50 рефератов по медицинским исследованиям, как люди-рецензенты, так и детектор, работающий на основе ИИ, не смогли идентифицировать треть работ, принадлежащих авторству бота.
Доверяй, но проверяй
Однако в сухом остатке предотвращение попадания фальшивок в научный оборот зависит от готовности издателей выделять больше средств. Статистические проверки документов о клинических исследованиях часто связаны с трудоемкой ручной работой, например, с вводом конкретных данных в электронные таблицы. Это потребует найма специального персонала, что сократит прибыль журнала.
Многие ученые, потратившие годы на то, чтобы добиться отзыва сфабрикованных статей, пессимистично относятся к тому, что более совершенные способы выявления мошенничества сами по себе смогут существенно изменить ситуацию. Доктор Робертс и доктор Мол хотят, чтобы журналы регулировались подобно тому, как в некоторых странах регулируются социальные сети и новостной бизнес, устанавливая стандарты на публикуемые ими материалы. Питер Уилмшерст, британский кардиолог, который поднял тревогу по поводу многочисленных случаев недобросовестного ведения исследований в своей области, считает, что необходимо ввести уголовное наказание для тех, кто фабрикует данные. Доктор Гунсалус хочет, чтобы университеты обнародовали отчеты о расследованиях мошенничества в научной сфере. И все согласны с тем, что "опубликуй или умри" – это рецепт катастрофы.
Ни одно из этих решений не будет быстрым или простым. Но теперь уже ясно, что выбор тактики "отвести взгляд" наносит ощутимый вред пациентам. Как отмечает Стюарт Ритчи из Королевского колледжа в Лондоне в своей книге "Science Fictions": "Ради науки ученым, возможно, пора начать меньше доверять друг другу".
Источник: The Economist
