В последнее время обострились споры вокруг количественной оценки научного труда. В связи с этим несколько мыслей по поводу журналов и наукометрии.
Наукометрия. Ключевым результатом научной работы в области фундаментальных и поисковых исследований является научная публикация. В значительной части областей наук – это научная статья, при этом для гуманитарных и общественных наук монографии не менее (а то и более) важны.
Сейчас в России доминирует количественные подходы, основанные на наукометрии. Высчитывается количество публикаций, а также импакт-фактор журналов. Все это в различных комбинациях.
Одна из ключевых проблем наукометрии – невозможность сравнить впрямую публикации из различных областей вследствие различных традиций цитирования, средней длинны списков литературы и т.п. В настоящий момент решается (если и решается) введением референтных групп – сравниваются институты только близкой проблематики. Таким образом напрямую медиков (с традиционно высокими показателями индексов Хирша и импакт-факторами журналов) с историками (где все эти показатели ниже, причем в разу) не сравнивают. Второй способ (позволяет более-менее сквозные сравнения) - квартили и схожие показатели. В этом случае смотрится попадание журнала в ту или иную группу среди всех журналов по данным тематическим рубрикам (первая четверть, третий десяток и т.п.).
Многочисленные критики количественных подходов в подавляющем большинстве случаев не предлагают ничего более объективного, поскольку чисто «качественная» экспертная оценка будет столь же нерепрезентативна, как и чисто «количественная» - то есть, наукометрическая. Увеличивать количество экспертизы возможно, но вопрос, за чей счет. Отделения РАН гордятся проведением полутора тысяч экспертных заключений за год. При этом заметим, что любой мало-мальски значимый конкурсный отбор привлекает сотни, а то и тысячи заявок, не говоря уже о текущей экспертизе выполняемых проектов, поэтому данные показатели не дают оснований для усиления экспертной оценки. Более того, эксперт должен опираться на объективные данные – а это опять же количественные показатели.
При этом оценка качества публикации в количественном наукометрическом плане возможна сразу же – это, во-первых, сам факт публикации, а во-вторых, косвенный критерий – импакт-фактор журнала. Важно отметить, что импакт-фактор журнала не означает, что статья будет процитирована хотя бы на этом уровне (да и что она будет процитирована в принципе). Оценить же реальный «вес» статьи (по количеству цитирований) можно только по истечению какого-то временного окна, допустим, 2 лет (пока она «работает» на импакт-фактор). Ждать столько времени, конечно, не представляется возможным.
Получается интересное наблюдение – система наукометрии достаточно плоха, но альтернатив ей нет. А любая система оценки лучше, чем отсутствие системы в принципе.
Журналы. Есть у данной проблемы и иное измерение – те самые журналы (и шире – издания), в которых публикуются статьи. Сейчас выстроена иерархия: Web of Science Core Collection – Scopus – (Russian Science Citation Index + перечень ВАК) – РИНЦ. Мы не будем углубляться в дебаты, что важнее – национальная «песочница» для журналов или все-таки перечень ВАК. Важнее то, что целью «гонки за публикациями» являются Web of Science Core Collection и Scopus, а на каждом уровне этой лестницы «статусов» журналов существует свой «рынок». В Web of Science этого меньше всего, а вот вокруг Скопуса регулярно разгораются битвы с «хищническими журналами». Логика существования хищников целиком рыночная – если есть спрос по поводу количества публикаций, будет и предложение (под ключ, быстро, без рецензирования). Для ориентированных на журналы баз данных (Web of Science, Scopus, ВАК) – это собственно журналы, а для РИНЦ – еще и заочные конференции (впрочем, встречается и на уровень-два выше). С хищниками ведется беспощадный бой, в последние годы – и на уровне РИНЦ. Откровенно мусорные журналы исключаются, а в новую волну убирать собрались также и сборники материалов научных конференций.
Менталитет. Все разговоры о наукометорических показателях и журналах так или иначе затрагивают сферу менталитета. Это неуловимый и сложно выразимый образ мышления. Проявления его мы видим и в «доверительных советах» как выполнить повышенные нормативы по публикациям, и «договорные взаимные цитирования» (а в случае со студентами – аспирантами – подчиненными – не договорные, а односторонние цитирования научного руководителя / начальника), и публикации «по знакомству» и прочее-прочее. Тот же менталитет прорывается и в области наукометрии – сейчас многие ученые (особенно глубоко укорененные в административную работу) любят «меряться Хиршами». Объяснить уважаемому и заслуженному деятелю, что размер в наукометрии не главное, практически невозможно. Обратная сторона медали – это журналы. В каждом (ну или почти каждом) вузе есть как минимум один журнал. Чем больше вуз – тем больше журналов. Где-то это вестники по сериям, где-то отдельные издания.
Поразительным образом борьба за чистоту журнальных рядов (и уменьшение количества «сертифицированных» журналов), которую якобы ВАК ведет последние годы, обернулась прямо противоположным эффектом. Ограничения на количество отраслей наук, по которым журнал должен входить в Перечень ВАК привел как раз к увеличению количества серий – ведь охватить необходимо максимальное количество направлений, по которым готовятся аспиранты и докторанты, а также по которым есть советы. Да и самим сотрудникам публиковаться где-то надо. К слову сказать, часто создание новых журналов обусловлено именно этим – «нам негде публиковаться».
Логика «публикуйся или умри» (при всей своей ущербности) должна стимулировать конкуренцию, в которой выживает сильнейший (при всех условностях оценки). Для нашей страны внедрение этой логики привело пока что не к интенсификации процессов научной деятельности, а к экстенсивному раздуванию публикационного поля.
Выводы. Стоит сделать акцент на ряде важных обстоятельств:
(1) Наукометрия на уровне органов власти находится в зачаточном состоянии. Дальше «индекса Хирша», «импакт-фактора журнала» и квартилей дело пока не двинулось. Таким образом, спор о соотношении наукометрии и экспертизы стоит дополнить дебатами о глубине использования наукометрии. Существуют интегральные показатели, которые дают значительно более комплексную картину. К сожалению, объяснить их как самим ученым, так и чиновникам весьма проблематично.
(2) Критики наукометрии забывают о том, что до ее внедрения система оценки результативности научной деятельности фактически отсутствовала. Да, когда денег в науке было немного, спроса особого не было. Сейчас финансирование улучшилось и потребовались отчеты – какой продукт на выходе. Системе наукометрии в России – без году неделя (читайте – года три-четыре). Неудивительно, что в ней масса недочетов. Перекосы в системе наукометрии и журнальных делах постепенно исправляются, поэтому можно надеяться, что система рано или поздно заработает. Однако, подчеркнем это еще раз, альтернативы ей нет и не предвидится.
(3) Количественные показатели по российским журналам в различных базах данных (Web of Science Core Collection и Scopus), а также количеству публикаций в этих базах данных, глубоко интегрированы во все отчетные показатели различных госпрограмм. Причем значительно шире и глубже, чем пресловутые 2,44%. Выполнять их так или иначе придется, поэтому от количественных аспектов никуда не деться.
(4) Журнальное поле будет зачищаться, а применение наукометрии становиться более адекватным. Ожидаем, что вскоре будет осуществлен реальный переход к учету качества публикации (пока поверхностно, по импакт-фактору и/или квартилям), однако чем дальше - тем точнее и адекватнее будет оценка. Не забудем, что экспертиза ("качественная" оценка) также развивается.