В последние годы выросла не только общая численность учёных но и увеличилось общее финансирование исследований. Это привело к вполне логичному следствию – усиление акцента на отчетах и о деятельности исследователей, и о самих исследовательских проектах. Учитывая то, что на данный момент процедуры, используемые для этих оценок, весьма разнообразны и не имеют какой-то единой, целостной структуры, три старейших национальных академии наук Франции, Германии и Великобритании (Académie des Sciences, Leopoldina, Royal Society) приняли решение составить свои рекомендации.
Оценка компетентными экспертами должна базироваться как на письменных (журнальных статьях, обзорах, книгах, главах книг, патентах и т.д.), так и других показателях эффективности (выступления на конференциях, награды, деятельность, направленная на общество, работа со студентами, семинары и т. д.). Поскольку тщательная оценка научного контента и качества со стороны экспертов требует времени и затрат, количество оценок нужно ограничить, а проверка должна проводиться только в случае необходимости, например, для принятия решений о конкурсных академических назначениях или финансировании крупных проектов.
С увеличением числа оценок и появлением легкодоступных электронных баз данных библиометрические показатели стали дополнительным количественным инструментом. Но основывать всю оценку только на них нельзя, так как возникает опасность слишком поверхностных, чрезмерно упрощенных и ненадежных выводов. К тому же не везде ими умеют пользоваться правильно.
Особую озабоченность вызывают широко используемые импакт-факторы журналов (IF), которые представляют собой, грубо говоря, влиятельность самого журнала, а не качество научной статьи, в нем опубликованной. Выдающуюся и оригинальную работу можно найти в журналах и с низким фактором. Тем не менее, использование этих цифр в оценке статьи распространено во многих дисциплинах.
Также эксперты озабочены по поводу «IF-давления» на авторов, что повышает частоту неудачных исследований, опубликованных в журналах, и «жонглирование» показателями за последние два десятилетия, в частности в тех дисциплинах, которые имеют сильную зависимость от наукометрии. Кроме того, так называемые «альтметрики» - новая форма оценки импакта – при одновременной пользе (добавляется упущенный ранее аспект измерения IF) страдает от тех же недостатков, что и метрики, существующие на основе цитируемости.
Есть серьезная опасность того, что чрезмерный акцент на библиометрических показателях не только не сможет правильно отразить качество исследований, но даже может помешать оценке работы хороших ученых вне их основного направления. Он также будет стимулировать именно тех, кто следит за текущими или модными исследовательскими тенденциями, а не тех, чьи работы в некотором роде пионерские и смогут потом создать совершенно новые научные направления. Более того, чрезмерная зависимость от цитируемости поспособствует формированию так называемых «клубов цитирования», «члены» которых помогают друг другу, повышая свои научные показатели. Таким образом, нужно постараться исключить эти минусы и создать такие критерии, которые поддержат качественные и инновационные работы.
Принципы оценки
«Элементы» для оценки исследователей можно объединить следующим образом:
1. Выбор процедуры оценки и тех, кто будет оценивать
Экспертный состав
Поскольку оценка работ ученых их коллегами – это достаточно эффективный процесс, с помощью которого можно сделать весьма объективное резюме, крайне важно проследить, чтобы сами эксперты придерживались высоких стандартов и были лидерами в своей области. Выбор экспертов должен основываться на их научной «непорочности» и целостности. Их достижения должны быть широко признанными, их биографические данные, а также работы – легко доступными. Такая открытость обеспечит достоверность и прозрачность оценок.
Процесс оценки
Поскольку число первоклассных экспертов ограничено, необходимо сократить количество процессов оценки, чтобы избежать чрезмерной перегрузки людей. В течение последних десятилетий в разных учреждениях проводилось слишком много рутинных проверок, которые в прямом смысле выматывали специалистов и занимали все их время. Поэтому они все чаще отказываются их выполнять. В связи с этим крайне важно снизить количество оценок и ограничить их основными вопросами, которые могут проанализировать только коллеги. Нужно признать, что эксперты предоставляют свой «свободный ресурс» в рамках академических обязанностей и что хороший анализ – ограниченное и ценное «благо».
Также для описания всей процедуры необходим лимит страниц. Чрезмерно длинные отчеты контрпродуктивны: эксперты должны быть в состоянии сосредоточиться на основных моментах, что крайне проблематично, когда перед ними стостраничный талмуд.
Помимо этого важное значение имеет смена экспертов, чтобы избежать постоянного влияния одних и тех же лидеров мнений. Группу экспертов необходимо адаптировать с учетом разнообразия дисциплин или научных областей. Конечно, географическое распределение, например, может повлиять на выбор в оценочную группу, но научное превосходство должно оставаться основным критерием.
2. Этические рекомендации и обязанности экспертов
Эксперты обязаны четко заявлять о возможных конфликтах интересов перед процессом оценки. Конфиденциальность экспертных обзоров и обсуждений в оценочной панели должна строго соблюдаться для защиты как специалистов, так и тех, кого оценивают.
Рецензенты часто учатся специальным навыкам оценки самостоятельно, но эта компетенция не всегда присутствует. Методы и подходы к оценке и анализу должны стать частью умений всех исследователей вместе со знанием этических принципов. Экспертам необходимо понимать опасности «бессознательного уклона». И для всех исследовательских дисциплин, там, где это возможно, нужно ввести эквивалентные стандарты и процедуры, которые должны также включать механизмы, позволяющие выявлять случаи предвзятых или иных ненадлежащих обзоров и исключать их из рассмотрения.
3. Критерии оценки
Любой анализ должен основываться на экспертной оценке научного контента, качества и полноценности. Публикациям, которые авторы считают своими наиболее важными работами, включая основные статьи и книги, нужно уделять особое внимание. Простое их количество не должно стать доминирующим критерием.
Импакт-факторы журналов не должны учитываться при оценке результатов исследований. Библиометрические показатели - например, широко используемый индекс Хирша, должны трактоваться только теми научными экспертами, которые способны поставить их в контекст каждой научной дисциплины. Необходимо указывать источник этих библиометрических данных и проверять их, чтобы обеспечивать точность в сравнении с конкурирующими источниками библиометрической информации. Помимо этого, все эти показатели следует рассматривать только как вспомогательную информацию для дополнения экспертного обзора, а не для его замены.
Следует, в частности, избегать использование библиометрии в отношении молодых ученых. Это, как правило, подталкивает молодежь, которая только строит свою карьеру, к стремлению хорошо зарекомендовать себя в модных областях исследований, не обращая особого внимания на решение новых научных задач.
Для патентов необходимо четко разграничивать этапы применения, доставки и лицензирования.
Успех в привлечении грантов на исследования должен, в случае необходимости, быть единственным, а не доминирующим фактором при оценке результатов исследований. Основными критериями здесь нужно сделать качество, оригинальность и важность научных открытий.
Краткое резюме основных рекомендаций
Полноценный анализ требует экспертной оценки признанных специалистов своей отрасли, работающих на высших этических стандартах и ориентированных на интеллектуальные достоинства и научные достижения. Библиометрические данные нельзя использовать в качестве достоверного критерия, важное значение имеют суждения по существу. Чрезмерный акцент на библиометрии может серьезно повредить научному творчеству и оригинальности. Плюс ко всему, экспертная оценка должна рассматриваться как ценный ресурс.
Источник: http://www.academie-sciences.fr/pdf/rapport/avis111217.pdf