Делимся читами и лайфхаками по верификации научной информации.
Представьте любой громкий заголовок, на который хочется кликнуть, например: «ученые доказали, что вино и сыр улучшают когнитивные способности», «ученые доказали влияние женитьбы на снижение веса», «доказано существование “волосатых” черных дыр». Все примеры — реальные статьи в известных информационных источниках (Lenta.ru и Esquire). СМИ охотно используют в заголовках подобные конструкции, все просто: внесли экспертность — повысили валидность. Только есть одно но: это вводит в заблуждение читателей и распространяет недостоверные данные по миру.
В своей работе я и сама не понимала, на какие статьи стоит обращать внимание и давать ссылку в своих материалах. Примерно 10 часов в неделю на продолжении четырех месяцев я работаю с научными исследованиями и статьями. За это время выработала систему верификации информации. Решила поделиться собственными наработками с вами.
Почему так много «плохих» исследований? Топ 3 причин:
- План продаж. У всех ученых и преподавателей есть ежегодный план по научным исследованиям (как у менеджеров план продаж на месяц), такой же есть у магистров и аспирантов, которых просто не допустят к защите выпускной итоговой работы без достаточного количества публикаций.
- Деньги. Многие исследования финансируются коммерческими организациями и, соответственно, показывают субъективные результаты. Канонический плохой пример: вот материал, который начинается со сбора подписей, в качестве аргументов — статьи конца XX века, битые ссылки на непонятные источники. Авторы открыто заявляют о финансировании некоторых исследований, которые приводят в пример, и считают это плюсом. Цель материала — подпись курильщика в петиции.
- Проверка гипотезы. Некоторые исследования проводятся «на минималках», просто, чтобы доказать, что у теории есть перспективы. Это исследования, доказанные на узких выборках, не учитывают побочные факторы и риски. Важно: на такие исследования можно и нужно обращать внимание, они — отражение будущих перспектив, но принимать их на веру и считать 100% доказанными не стоит.
Процедура публикации исследования
- Автор(ы) и ученый(е) формируют текст и иллюстрации по образцу, принятому в журнале, в котором хотят опубликоваться. Условно: название, аннотация, ключевые слова, введение, обзор литературы, методология, результаты, выводы, дальнейшие перспективы исследования и список литературы. Здесь исследователи систематизируют полученные данные и оформляют их в текст.
- Сырой текст публикации попадает к редактору журнала — это первый фильтр, ведь редактор может отказать автору сразу, если статья покажется ему неинтересной, не новой или не подходящей под тему или формат журнала.
- Редактор отправляет статью на рецензию 2-3 ученым из соответствующей области. Эта стадия называется peer review — главный этап перед опубликованием материала. Рецензенты дают отзыв на работу, предлагают изменения или дополнительные эксперименты. Если все ученые, которые прочитали статью, оценили ее отрицательно, то ее не будут публиковать, а при положительной оценке — материал возвращают автору на доработку. А после доработки ее снова отправляют рецензентам.
Эти круги ада могут повторяться много раз до тех пор, пока этот материал не отклонит автор только из-за того, что исследование просто потеряло новизну.
Вся эта бюрократическая процедура создана, чтобы затруднять публикацию в научных изданиях высокого толка и соблюдать все необходимые стандарты качества.
Как проверять достоверность научных источников?
Пункт 1. Поиск первоисточника.
Часто СМИ дают прямую ссылку на исследование, если ее нет, то откройте новость в другом информационном ресурсе и перейдите по ссылке. Вариант посложнее: по ключевым словам, цифрам и датам самому найти необходимое исследование (часто для этого придется перевести ключевые слова на английский (— официальный международный язык, на котором пишут 90% всех аннотаций), чтобы поисковая система начала обрабатывать запрос на языке оригинала).
Пункт 2. Оценка источника.
Квартиль Q — это категория научных журналов, которая отражает уровень цитируемости и востребованность журнала научным сообществом. Большинство зарубежных исследований ранжируются по одному из двух показателей:
- JCR (импакт-фактор Journal Citation Report) — для базы данных Web of Science, индексирующей около 12 500 журналов;
- SJR (SCIMago Journal Ran) — для базы данных Scopus, индексирующей около 21 000 журналов.
Если научный журнал входит в базу данных Web of Science или Scopus — это первая хорошая метка для оценки достоверности исследования. Все журналы в этих базах данных делятся на четыре равные части (квартили): от Q1 (самый высокий, к которому принадлежат наиболее авторитетные иностранные журналы) до Q4 (самый низкий). Если журнал, в котором опубликована статья находится в первых двух квартилях (Q1 или Q2), то это второй благой знак для достоверности.
Окей, как определить квартили зарубежных научных журналов?
- Scopus: зайти на страницу -> ввести в окне «Search Query» — in «Journal Title» полное название журнала либо часть названия -> нажать кнопку «Search» -> выбирать необходимый журнал и нажать на него -> в появившемся профиле журнала указаны его тематические категории «Subject Category» с соответствующими квартилями.
- Web of Science:
- зайти на страницу; - в самом верху страницы нажать вкладку Journal Citation Reports (или, зайдя на сайт библиотеки, найти Journal Citation Reports в списке «Зарубежные электронные научные журналы и базы данных online»);
- слева под «Go to Journal profile» ввести название журнала;
- внизу под ключевыми индикаторами журнала («Key indicators») слева выбрать раздел «Rank» (сразу под разделом «Source Data»);
- справа появится окно с таблицей «JCR Impact Factor» — смотрим графу «Quartile» с соответствующими квартилями.
Бонус. Делимся нашим топом проверенных источников информации (всю предыдущую работу мы сделали за вас):
1) NCBI (national center for biotechnology information)
2) PuBMed (часть NCBI)
3) Elsevier
4) Scopus
5) PNAS
Пункт 3. Оценка научной статьи и валидности исследования.
Следующий сложный этап, требующий от вас вдумчивости и 10 минут свободного времени:
- Обратите внимание на дату публикации. Если исследование было проведено не в этом и не в предыдущем году, то на том же источнике поищите по ключевым словам более новые работы по теме. Старые исследования могли быть опровергнуты.
- Прочитайте abstract (аннотацию). Обратите внимание на то, как проводилось исследование: сколько было контрольных групп, сколько испытуемых, какие учитывались побочные факторы. Чтобы не загоняться, можно руководствоваться следующим принципом: чем шире выборка, тем больше учитывается побочных факторов, вроде, субъективного ощущения и особенностей организма. Например, исследование, в котором участвовало 50 человек не стоит брать на веру. Такие работы нужны только для проверки гипотезы, положительные результаты означают, что теория имеет перспективы и ученые будут продолжать работу над этой темой.
Пункт 4. Порадуйтесь своей настойчивости.
Поздравляем, теперь у вас есть полная картина для оценки источника и исследования как достоверного.
Мы понимаем, что эта проверка — не вариант для пятничного чтения. Зачем это нужно? Для написания научных работ, проверки собственных суждений, поиска истины, самообразования, доказательной базы для презентации инвесторам и так далее. Если вы просто хотите проверить достоверность источника, который увидели в СМИ, то сократите эту работу до пяти минут. Все просто: перейдите по ссылке на источник, обратите внимание на название сайта (если это наша золотая пятерка, то супер), а затем посмотрите на дату исследования и количество испытуемых. Эта работа займет пару минут, но позволит вам сделать простой вывод: гипотеза это или первые шаги в исследовании проблемы.
На страже достоверности исследований «Человек как продукт». В нашем telegram-канале теперь не только анонсы публикаций, но и формы обратной связи, опросы по темам для публикаций.