Автор Кэмерон Нейлон
Найдите меня в InCites — инструменте, созданном американской исследовательской и аналитической компанией Clarivate, — и вы найдете биохимика, который в последнее время не так много публиковался. Google Scholar, инструмент Google для поиска академических публикаций, показывает больше моей работы за последние несколько лет по оценке исследований и открытым исследованиям. Как и все остальные, я предпочитаю большие числа — и Google Scholar предоставляет их, — но они содержат больше ошибок из-за того, как алгоритмы Google сканируют и индексируют списки авторов. Мои проблемы относительно незначительны; у одного коллеги десятки цитирований по InCites и десятки тысяч по парсерам вроде Google Scholar.
Исследователям, особенно тем, кто только начинает свою карьеру, необходимо знать, как систематизировать источники доказательств, такие как подсчет публикаций, чтобы представить свои доводы комитетам по найму и продвижению по службе. Эти инструменты считаются надежными источниками, несмотря на то, что они могут давать очень разные значения. Другие данные, такие как ретвиты или «лайки» онлайн-видео, иногда используются в качестве косвенного показателя воздействия на общество, но актуальность этих данных становится еще более сомнительной при ненадлежащем использовании.
Это серьезная и глубоко ироничная проблема всей научной деятельности. Как исследователи, мы привыкли использовать частичные, несовершенные, неполные данные для принятия решений и выводов. Эти несовершенства сглаживаются с помощью статистических процессов, расчетов ошибок и надлежащей исследовательской практики. Но лучшие практики часто не применяются при оценке публикаций исследователей: где планки погрешностей в решении о сроке пребывания, рейтинге университета или заявке на грант?
Политика, решения о найме, финансировании и продвижении по службе строятся на этих шатких доказательствах. Если бы эти доказательства были данными исследований, их сбор, описание, анализ и интерпретация никогда не прошли бы экспертную оценку.
Эта проблема касается как институтов, так и отдельных лиц и дисциплин. Мы с моим коллегой Карлом Хуангом, исследователем открытых знаний из Университета Кертина в Перте, Австралия, изучили данные, лежащие в основе рейтингов университетов (C.‑K. K. Huang et al. Quant. Sci. Stud. 1, 445–478; 2020). Мы создали простой рейтинг 155 университетов на основе цитирования и предоставили ему данные из каждого из трех источников: Web of Science, Scopus и Microsoft Academic, которые являются инструментами для поиска в записях публикаций. Три университета переместились более чем на 110 позиций, а 45 — более чем на 20, когда изменился источник данных.
Неудивительно, что разные источники и подходы к ранжированию дают разные результаты. Но мы по-прежнему игнорируем различия и принимаем решения о политике, финансировании и карьере, как будто любая отдельная метрика может дать ответ. Таким образом, мы принимаем неверные важные решения — на индивидуальном и институциональном уровнях.
Что нужно изменить? Политический ландшафт за последнее десятилетие изменился. Соглашение о реформировании оценки исследований, опубликованное на прошлой неделе (см. go.nature.com/3pmwd), является ответом на Парижский призыв к оценке исследований по «внутренним достоинствам и влиянию, а не по количеству публикаций и месту их публикации, способствуя качественному суждению коллег, подкрепленному ответственным использованием количественных показателей». Другими словами, его авторы тоже устали от вырванных из контекста цифр. Оно следует за Декларацией Сан-Франциско об оценке исследований 2013 г. и Лейденским манифестом 2015 г., которые призывают к аналогичным изменениям в политике.
Чтобы сделать эти призывы эффективными, научному сообществу необходимо изменить культуру с точки зрения доказательств, которые используются для оценки результатов исследований. Это произойдет только тогда, когда все предприятие потребует более высоких стандартов. Мы должны рассказывать истории о нашей работе и успехах более качественно — с более значимыми словами и меньшим количеством бессмысленных цифр. Это будет лучше учитывать разнообразие дисциплин и множество способов, которыми исследователи оказывают влияние.
Старшие исследователи должны критически оценивать качество доказательств, представленных при рассмотрении кандидатов на работу и получение гранта или при проведении ведомственных обзоров. И мы должны поддерживать начинающих исследователей, создавая руководства и обучая их, чтобы помочь им подготовить наилучшие возможные кейсы для продвижения по службе.
Несправедливо, но неизбежно то, что большая часть работы ляжет на плечи исследователей в начале и в середине карьеры, для которых оценки имеют решающее значение. У них есть выбор: предоставить более строгие и полные доказательства в своих заявлениях или просто обычные цифры. Но это возможность перекроить истории их исследований, сделав оценку их работы более справедливой.
Эти изменения уже происходят. Политический ландшафт меняется после Соглашения о реформировании системы оценки научных исследований и аналогичных инициатив во многих странах. Все чаще для оценки грантов, продвижения по службе и работы требуются качественные примеры, подкрепленные количественными данными. Более старшие ученые требуют более высоких стандартов доказательств для оценки исследований. И я все чаще вижу, как младшие ученые приводят сложные, строгие и разнообразные доводы в пользу ценности своих исследований для комиссий по продвижению или при оценке грантов.
Настоящие изменения произойдут только тогда, когда оцениваемые будут готовы показать реальную ценность и влияние своих исследований, помимо подсчета цитирований, ретвитов или h-индексов. Мне могут нравиться большие числа, но я бы предпочел работать в мире, наполненном информативными числами.