Автор: Мариам Саяб
В академическом издательском деле цифры стали синонимом авторитета. Впечатляющий импакт-фактор или высокий показатель цитируемости сразу же сигнализируют о надежности. На протяжении десятилетий эти показатели использовались для принятия решений о финансировании, найме и продвижении по службе. Но где-то по пути то, что начиналось как средство измерения качества, стало диктовать саму форму исследований.
Сегодня табло часто затмевает суть. Исследователи не только знают о цифрах, но и активно формируют свою работу, чтобы их достичь. И чем больше преследуются эти показатели, тем больше риск исказить то, что они должны были измерить.
Предупреждающие знаки на виду
Последствия культуры исследований, одержимой показателями, становится трудно игнорировать. В условиях, когда количество цитирований, импакт-факторы и объем публикаций сильно влияют на карьерный рост, некоторые исследователи и даже журналы могут ставить количество публикаций выше качества. Это давление может создать благодатную почву для неэтичных практик, таких как подача статей в «фабрики статей» и манипулирование рецензированием, что привело к резкому увеличению числа отзывов. По данным Retraction Watch, количество статей, изъятых из научных архивов, выросло с примерно 1600 в 2013 году до более чем 10 000 в 2023 году. Более 8000 из них принадлежали одному издателю, Hindawi, после того как расследования выявили систематические нарушения. Масштаб ущерба был настолько велик, что материнская компания Wiley решила полностью отказаться от названия Hindawi.
Даже сами показатели журналов контролируются более агрессивно. В 2024 году Clarivate понизила импакт-факторы 17 журналов за чрезмерное самоцитирование и накрутку цитируемости, что значительно больше, чем всего четыре журнала годом ранее. Начиная с Journal Citation Reports 2025 года, Clarivate будет исключать все цитирования из отозванных статей и в них.
Эти действия указывают на тревожную правду: те же показатели, на которые мы полагаемся при оценке качества, также уязвимы для манипуляций. А когда манипуляции становятся повсеместными, это не только подрывает доверие, но и толкает всю систему в опасную петлю обратной связи. Показатели отзыва статей наглядно иллюстрируют эту проблему: в 2002 году отзывалась только одна из 5000 опубликованных статей, но к 2023 году этот показатель вырос в десять раз, до одной из 500 статей.
От выживания к престижу
Традиционный девиз «публикуйся или погибнешь» не исчез, но эволюционировал в нечто более избирательное: публикуйся ради престижа. Исследования показывают, что импакт-фактор журнала (JIF) по-прежнему играет важную роль в академической оценке: около 40 % университетов в США и Канаде явно ссылаются на него в своей политике продвижения по службе и предоставления постоянных должностей.
Хотя JIF по-прежнему доминирует, другие метрики теперь соревнуются за внимание: показатели, ориентированные на авторов (например, h-индекс), рейтинги журналов (например, SCImago Journal Rank или SJR и Eigenfactor) и инструменты, основанные на внимании (например, Altmetric и PlumX Analytics). Они могут учитывать такие параметры, как цитирование политики, освещение в СМИ, онлайн-вовлеченность или статистика использования. Такие инструменты могут расширить наше представление о влиянии исследований, но когда их рассматривают как основные показатели, они рискуют стать еще одним табло, поощряющим видимость, а не суть, и унаследовать те же искажения, которые мешают JIF.
Эта зависимость от показателей влияет на поведение исследователей тонким, но значительным образом. Ученые могут отдавать приоритет вопросам, которые с большей вероятностью привлекут внимание журналов с высоким JIF, даже если другие темы могут принести большую пользу обществу или региону. Исследования показывают, что давление со стороны издательств и карьерные соображения часто «в значительной степени определяются необходимостью публиковаться в журналах с высоким импакт-фактором». Работы, которые имеют контекстуальный, междисциплинарный или региональный характер, могут быть отброшены в сторону, поскольку вряд ли принесут высокий показатель цитируемости. Эта проблема подчеркивается в Лейденском манифесте, который призывает защищать «исследования, имеющие местное значение», которые в противном случае могут оказаться в невыгодном положении.
Со временем эта динамика сужает разнообразие научных исследований, сокращая возможности для революционных открытий, которые выходят за рамки основных мировых тенденций в области цитирования. Это соответствует закону Гудхарта, который предупреждает, что когда показатель становится целью, он может искажать те самые процессы, которые он призван контролировать. Недавние сравнительные анализы траекторий цитирования подтверждают эту динамику. Журналы с высоким JIF, как правило, поощряют «быстровоспринимаемые» темы, такие как искусственный интеллект, метавселенная или другие новые технологии, в то время как журналы с более низким JIF часто преуспевают в «медленно воспринимаемых» областях, таких как расизм, анализ дискурса или концептуальные рамки. Эти темы приобретают значение более постепенно, иногда через несколько лет после публикации. Эта закономерность иллюстрирует закон Гудхарта в реальном времени: чем больше показатель становится целью, тем больше он влияет на то, что публикуется, отдавая предпочтение темам, которые быстро привлекают внимание, перед темами, которые имеют долгосрочную, но отсроченную социальную значимость.
Скрытые издержки подхода, ориентированного на цифры
Показатели неизбежно влияют на то, что становится видимым, и, как следствие, на то, что ценится. Недавний анализ охвата журналов с открытым доступом показывает, что из более чем 62 000 журналов с открытым доступом, перечисленных в каталоге ROAD, только небольшая часть индексируется в основных базах данных — чуть более 6000 в Web of Science и около 7300 в Scopus, в то время как более инклюзивная база данных, такая как OpenAlex, охватывает более 34 000.
Это несоответствие означает, что многие важные на местном уровне или ориентированные на регион журналы остаются незаметными на глобальном уровне. Алгоритмические системы рекомендаций усугубляют эту проблему, усиливая и без того часто цитируемые англоязычные исследования и еще больше задвигая маргинальные голоса в тень. Риск здесь заключается не только в академической незаметности, но и в постепенной эрозии плюралистичной, инклюзивной исследовательской экосистемы.
Исследования цитируемости также показывают, что большинство научных статей следуют траектории «медленного роста», приобретая влияние только на второй или третий год. Однако академические оценки редко учитывают этот временной лаг. Комиссии по найму и продвижению по службе часто оценивают ученых по количеству цитирований, накопленным в течение одного-двух лет, наказывая именно тот вид работы, который может потребовать больше времени для признания, но в конечном итоге оказывает более глубокое и устойчивое влияние. Другими словами, наши системы оценки рискуют отдавать предпочтение быстрым результатам, а не долгосрочному вкладу.
Призыв к переосмыслению оценки
Признание этих структурных проблем послужило толчком для реформаторских движений, таких как Сан-Францисская декларация об оценке научных исследований (DORA), которую в настоящее время поддержали более 20 000 человек и 2000 организаций. Основной принцип DORA прост: оценивать исследования по их собственным достоинствам, а не по престижу журнала, в котором они публикуются.
Некоторые учреждения начали вносить изменения. Лондонский университетский колледж пересмотрел свои критерии продвижения по службе, отказавшись от показателей, основанных на журналах, как указано в его «Рамочной программе академической карьеры» (2018) и «Политике ответственного использования библиометрики» (2020), которые освещены в отчете Европейской ассоциации университетов по результатам тематического исследования. Эти изменения происходят медленно, но они показывают, что академическое сообщество, по крайней мере, готово подвергать сомнению укоренившиеся привычки.
Аналогичные реформы происходят во всем мире. В Китае новые политики в области научных исследований запретили использование JIF и других количественных показателей — обычно называемых «поклонением SCI» — при принятии решений о найме и финансировании. В Латинской Америке региональные платформы, такие как SciELO и RedALyC, делают акцент на инклюзивности и многоязычной видимости как альтернативе глобальным иерархиям престижа. Однако лежащая в основе динамика сложна: инструменты оценки встроены в многомиллионную индустрию, в которой аналитические пакеты, такие как Dimensions от Digital Science, Web of Science и Journal Citation Reports от Clarivate, а также аналитическая экосистема Elsevier, являются основой текущей системы.
Появляющиеся альтернативные методы прогнозирования
Растущее осознание ограниченности текущих метрик вызывает призывы к изменениям. Но для значимой реформы необходимо нечто большее, чем просто доработка алгоритмов или добавление альтернативных метрик. Они требуют изменения в том, как мы определяем «ценность», признавая качество, актуальность и вклад в общество наряду с количеством цитирований.
Некоторые новые инструменты пытаются выйти за рамки грубых ретроспективных мер, таких как JIF. Например, Article Citation Composite Index (ACCI) в сочетании с моделями временных рядов может прогнозировать, как влияние статьи может измениться в течение трех-пяти лет. Этот переход от измерения к прогнозированию подчеркивает стремление к более перспективной оценке. Однако даже такие многообещающие инновации, как ACCI, имеют свои недостатки: без прозрачности, контекстуализации и мер защиты от злоупотреблений прогнозные модели могут легко повторить те же искажения, которые были характерны для более ранних метрик.
Поэтому нам необходимо предпринять несколько ключевых шагов:
- Повысить прозрачность и подотчетность путем обмена методологиями измерения, разъяснения источников данных и четкого указания ограничений, что является совместной ответственностью издателей, спонсоров, индексирующих служб и координируется глобальными органами по установлению стандартов.
- Расширить определения воздействия, включив в них влияние на политику, общественную пользу и значимые для региона результаты, обеспечив принятие многомерных рамок оценщиками и рейтинговыми органами.
- Содействовать развитию разнообразных и инклюзивных метрик, которые ценят вклад всех регионов, дисциплин и языков, при этом академические общества и редакционные советы должны подавать пример.
В Азиатском совете научных редакторов (ACSE) мы считаем, что метрики должны служить целостности, инклюзивности и значимому воздействию, всегда задаваясь вопросом, что мы измеряем, почему и для кого.
Заключительная мысль
Гонка за импакт-фактором не является неизбежной; это коллективное решение, которое укрепляется каждый раз, когда мы позволяем одному числу заменить научную ценность. Если не контролировать эту гонку, она будет поощрять результативность, а не цель, и видимость, а не достоверность. Однако есть и другой путь: метрики могут играть более конструктивную роль в качестве навигационных средств, а не финишных линий, когда их использование определяется прозрачностью, контекстом и инклюзивностью. Оценка исследований по их сути, независимо от того, соответствуют ли они престижным стандартам с большим количеством цитирований, открывает путь к системе, которая вознаграждает целостность, актуальность и долгосрочное влияние, а не просто цифры.
Будущее исследований зависит от того, позволим ли мы цифрам остаться на табло или будем использовать их как компас, указывающий нам путь к целостности, инклюзивности и долгосрочному влиянию.