Каждый день по всему миру публикуются сотни научных исследований. Тем не менее, многие из них противоречат друг другу, даже когда они затрагивают одну и ту же тему и используют похожие методологии.
👉 Оригинал публикации ✈️Наш канал в Telegram 🧐 Все новости и новинки вейпинга — на сайте BelVaping
Эта какофония раскрывает более глубокую проблему: нынешняя научная система страдает от структурных дисфункций, которые подрывают надежность исследований.
Когда зонтичный обзор выявляет недостатки
Как и любой другой потребительский продукт, электронные сигареты широко изучаются исследователями. Тем не менее, вряд ли проходит и день без публикации исследования, которое противоречит выводам предыдущего. Хотя использование другой методологии иногда может объяснить, почему два похожих исследования приходят к противоположным выводам, это не всегда так. Правда в том, что научный мир сталкивается с многочисленными проблемами.
Несколько дней назад было опубликовано новое британское исследование. Это был общий обзор, т.е. систематический обзор исследований. Вот что это значит:
Когда учёный публикует исследование по определенной теме, это простое исследование. Когда учёный анализирует результаты всех исследований по одной и той же теме, это систематический обзор. Поэтому общий обзор направлен на анализ результатов нескольких исследований (систематических обзоров), которые сами анализировали результаты многих исследований. Короче говоря, обзор — это синтез синтеза.
Зонтичный обзор, о ком идет речь, рассматривал молодежный вейпинг. В выводах было написано о находе «последовательных доказательств того, что более высокие риски начала курения, употребления психоактивных веществ (наркотики, алкоголь и стимуляторы), астма, кашель, травмы и проблемы с психическим здоровьем связаны с использованием электронных сигарет среди молодежи».
В кои-то веки мы не будем критиковать этот конкретный обзор. Из-за многочисленных ограничений авторы явно не смогли распространить свои результаты. На этот раз мы сосредоточимся на чем-то под названием AMSTAR 2.
AMSTAR 2, измерительный инструмент, который искажает реальность
AMSTAR 2 является критически важным инструментом оценки. Этот термин относится к семейству инструментов, используемых учеными для оценки качества исследования. В этом случае AMSTAR 2 — сокращение от A MeaSurement Tool для оценки систематических обзоров — является стандартным инструментом для оценки таких исследований.
Существует множество подобных инструментов. AMSTAR 2 был разработан для оценки качества систематических обзоров. GRADE оценивает достоверность доказательств. Инструмент Cochrane Risk of Bias используется для индивидуальных исследований. NOS ориентирован на когортные и случайные контрольные исследования. QUADAS-2 для диагностических исследований и так далее. Существуют сотни инструментов.
Все они имеют одну и ту же цель: быстро и последовательно оценивать качество научного исследования. С десятками тысяч новых исследований, публикуемых каждый год, ученым нужен был способ отделить зерна от плевел.
Среди этих инструментов выделяется AMSTAR 2. По сути, это ожидаемый стандарт для оценки качества систематических обзоров. Вообще говоря, если исследователь работает с данными из одного или нескольких систематических обзоров, большинство медицинских журналов откажутся от своей работы, если они не использовали этот инструмент. Поэтому зонтичный обзор, упомянутый ранее, был выполнен на AMSTAR 2.
Даже если авторы заявляют в своих рукописях, что систематический обзор был проведен/подготовлен/разработан в соответствии с AMSTAR 2, это не обязательно означает, что он достигает высокой или даже умеренной уверенности в рамках AMSTAR 2.
Результат? Авторы сообщают: «Большинство систематических обзоров, которые мы включили, были оценены c низким или критически низким качеством с использованием AMSTAR 2».
Означает ли это, что обзор был почти полностью основан на низкокачественных систематических обзорах? Не совсем. AMSTAR 2, в среднем, классифицирует более 90% систематических обзоров как «критически низкого качества». Почему?
Потому что AMSTAR 2 опирается на шестнадцать пунктов, семь из которых считаются критическими, что сильно искажает окончательный рейтинг. На самом деле, менее половины этих пунктов действительно применимы ко всем систематическим обзорам. Добавьте к этому расплывчатые критерии, часто неправильно понятые исследователями, и в итоге вы обрудете инструмент, который многие считают принципиально несовершенным.
Так зачем вообще использовать AMSTAR 2, если так много исследователей знают, что он на самом деле не подходит для этой задачи?
Потому что AMSTAR 2 является ожидаемым стандартом в академической практике. Несмотря на свои недостатки, конвенция требует этого. И это не единичный случай — другие инструменты или методы, предназначенные для обеспечения научной строгости, также являются проблематичными. Проще говоря: потому, что так принято!
Импакт-фактор
Импакт-фактор — это еще один инструмент, который отклонился от своего первоначального назначения. Он был создан, чтобы помочь библиотекам решить, на какие журналы подписаться. Сегодня, несмотря на неоднократные предупреждения его создателя Юджина Гарфилда, он стал основным критерием для оценки исследователей и их работы.
Что на самом деле измеряет фактор воздействия? Журнал, в котором публикуется работа исследователя. Таким образом, репутация ученого и воспринимаемое качество его работы связаны с тем, где она публикуется, а не с качествами самого исследования.
Это как оценивать фильм и актеров в нем — не по сценарию или их выступлениям, а по кинотеатру, где показан фильм. Это не имеет смысла, но это именно то, что часто происходит в науке сегодня.
Хищнические журналы
Другая проблема: хищнические журналы. Они утверждают, что являются законными научными изданиями, но на самом деле принимают почти любое исследование — за плату. Никакой экспертной оценки, иногда даже нет рецензий. Если автор платит, они публикуются.
Эти журналы загрязняют научную литературу. Они позволяют «любому» опубликовать исследование, данные которого не были проверены. В 2014 году в таких журналах было опубликовано около 420000 исследований, число авторов которых превысило 8000.
Хуже того, некоторые из этих работ были процитированы в подлинной научной работе. Плохая наука проникает в хорошую науку — проблема, известная как загрязнение цитирования.
Негативным следствием быстрого роста научных публикаций открытого доступа, финансируемых за счет сборов за обработку статей, является появление издателей и журналов с крайне сомнительной практикой продвижения и рецензирования.
В качестве еще одного доказательства польские исследователи провели эксперимент: они создали вымышленного ученого Анну Шуст с сфабрикованным резюме и подали заявку на должность редактора в 120 медицинских журналов. Сорок хищнических журналов приняли ее в течение нескольких часов. Что еще более тревожно, восемь журналов, перечисленных в Справочнике журналов открытого доступа (считаются качественными местами для публикаций), также приняли ее. К счастью, никто из них не индексировался в Journal Citation Reports, и не попался на эту уловку.
Хищнические журналы также подпитывают другие мошенничества, такие как «бумажные фабрики» — предприятия, которые изготавливают целые исследования (поддельные данные, поддельные диаграммы) по требованию, публикуют их в хищнических торговых точках и продают авторство исследователям, которые хотят наполнить свои резюме для обеспечения финансирования. И список проблем в системе продолжается.
Экспертный обзор
Рецензирование широко считается золотым стандартом научного подтверждения — как учеными, так и журналистами. Но на самом деле это далеко не идеально.
Процесс, вкратце:
- Автор отправляет статью в журнал;
- Редактор отправляет его экспертам в этой области;
- Они просматривают его анонимно и рекомендуют принять, пересмотреть или отклонить;
- Журнал принимает окончательное решение.
Проблема: хотя экспертная оценка рассматривается как объективная, она по своей сути субъективна, потому что качество исследования оценивается произвольно несколькими людьми, которые часто не согласны с работой. Для той же статьи один эксперт может рекомендовать принятие, другой отклонить. Доказательства несовершенной системы.
Добавьте к этому множество предубеждений, которые могут повлиять на процесс: национальность автора против национальности рецензента, институциональный престиж, пол, дисциплина, предвзятость подтверждения и т. д.
К сведению, некоторые исследования, отклоненные после рецензирования, позже получили Нобелевскую премию.
Тем не менее, как и в AMSTAR 2, экспертная оценка глубоко укоренилась в научной практике. К его чести, на данный момент не существует полностью жизнеспособной замены.
Манипуляция цитированием
Цитаты — это еще одна проблема. Они являются валютой науки. Чем больше цитируется работа исследователя, тем более влиятельной она считается. Количество цитат влияет на найм, продвижение по службе и финансирование.
Но цитаты могут иметь извращенные последствия: они превращают сотрудничество в конкуренцию. Исследователи могут выбирать темы, которые чаще цитируются, чем более важные и актуальные.
Еще более серьезная проблема: некоторые авторы продают цитирование. Ученый платит и получает цитаты. Незначительное или некачественное исследование может восприниматься как сильное просто потому, что оно часто цитируется. На этой основе развился черный рынок цитирования.
P-Взлом
Наконец, p-hacking. Буква p в исследованиях относится к вероятности того, что результат обусловлен случайностью. В научных исследованиях результаты обычно считаются статистически значимыми, когда p <0,05, что означает, что вероятность того, что результат будет случайным, составляет менее 5%.
Этот порог в 5%, выбранный Рональдом Фишером в 1920-х годах без какого-либо специального научного обоснования, стал кошмаром. Журналы могут отказаться от публикации исследований, результаты которых не являются «значительными», создавая стимул для игры со статистикой.
Поэтому некоторые исследователи обманывают, чтобы получить p<0,05: остановить сбор данных, как только порог будет достигнут, отказаться от участников эксперимента после того, как они увидели, что их включение подталкивает p выше 0,05; протестировать список переменных и сообщить только о тех, которые ниже 0,05; или разделить данные на абсурдные подгруппы, пока не появится «значительный» эффект.
Многочисленные исследования задокументировали p-hacking. Например, один исследователь изучил 100 психологических работ из престижных журналов и воспроизвел их. Из 97, которые первоначально сообщали p<0,05, только 36 фактически воспроизвели статистически значимые результаты. (Не все области так же затронуты проблемами, как психология.)
Реформа, а не отказ
Примеры в этой статье не являются исчерпывающими. Другие также могут быть процитированы. Цель состоит не в том, чтобы дискредитировать исследователей.
Несмотря на эти сложности, наука остается нашим лучшим инструментом для понимания мира. Обнадеживает, что появляются некоторые инициативы: предварительная регистрация протоколов исследования, обязательный обмен необработанными данными и усилия по разработке более подходящих инструментов оценки (например, AMSTAR 2).
Сегодня проблема заключается не в незнании недостатков, а в том, как их устранить — и, честно говоря, в сопротивлении изменениям.
Должны ли мы отвергать науку? Эти откровения призывают к более критическому прочтению исследований, особенно в спорных областях, таких как вейпинг. Между догматическими выводами и слепым скептицизмом лежит средний путь: наука, осознающая свои собственные пределы.
Источник | vapingpost.com
Фото | Image by rawpixel.com on Freepik