Автор Лиззи Гэдд
Все больше и больше учреждений подписываются на манифесты ответственных показателей, такие как DORA, и это здорово.
На это, без сомнения, повлияли требования спонсоров, и это тоже здорово. И эти манифесты оказывают положительное влияние на оценку на уровне исследователей, что в три раза больше. Но, как мы все знаем, вопросы оценки на уровне исследователя, такие как избегание импакт-факторов журнала, являются лишь одним из элементов проблем оценки исследований в этом секторе.
Генеральный директор UKRI Оттолайн Лейзер недавно отметила, что любая оценка на более высоком уровне пищевой цепи в форме оценок на уровне университета или страны в конечном итоге оказывает влияние на отдельных исследователей.
И, конечно же, наиболее влиятельными из них, на вершине пищевой цепи оценки исследований, являются глобальные рейтинги университетов.
Так почему же, я часто спрашиваю себя, мы хвалим университеты за ответственный подход к журнальным показателям и закрываем глаза на их участие в глобальных рейтингах и их признание?
Действительно, если вы посмотрите на характеристики импакт-факторов журналов (JIF) и характеристики глобальных рейтингов университетов, вы увидите, что и те, и другие не соответствуют одним и тем же четырем критериям критики.
1. Проблема построения
Как заявляет DORA, существуют серьезные проблемы с расчетом JIF: среднее количество цитирований на статью для журнала за два года. Во-первых, указание среднего числа цитирований на статью для искаженного набора данных не имеет статистического смысла. Во-вторых, в то время как числитель включает все ссылки на журнал, знаменатель исключает «не подлежащие цитированию элементы», такие как редакционные статьи и письма, даже если они цитировались. В-третьих, временного окна в два года, возможно, недостаточно, чтобы зафиксировать активность цитирования в менее плотных областях, в результате чего вы не можете сравнивать JIF в одной области с JIF в другой.
Однако глобальные рейтинги университетов подвергаются еще более жесткой критике по поводу их построения.
Показатели, которые они используют, являются плохим показателем для концепции, которую они стремятся оценить (например, использование соотношения персонала и студентов в качестве показателя качества преподавания). Концепции, которые они пытаются оценить, не являются репрезентативными для работы всех университетов (общественное воздействие вообще не учитывается). Источники данных, которые они используют, сильно смещены в сторону глобального севера. Они часто используют небрежные опросы общественного мнения, основанные на репутации. И что хуже всего, они объединяют показатели вместе с помощью произвольных весов, незначительное изменение которых может оказать существенное влияние на рейтинг вуза.
2. Проблема достоверности
Помимо проблем построения, проблемы с JIF действительно начались, когда он был перепрофилирован из индикатора, определяющего, какие журналы должны появиться в индексе цитирования Гарфилда, в индикатор, используемый библиотеками для информирования о создании коллекций, а затем исследователями для выбора места публикации и, наконец, читателями (и другие), чтобы решить, какое исследование было бы лучшим для публикации там. Он стал недействительным показателем качества, а не средством обеспечения того, чтобы наибольшее количество цитирований было захвачено индексом цитирования.
Хотя JIF, возможно, непреднамеренно оказался в этом положении, некоторые глобальные рейтинги намеренно преувеличивают их значение. Действительно, каждый из «большой тройки» глобальных рейтингов (ARWU, QS и THE WUR) претендует на то, чтобы выявить «лучшие» университеты (несмотря на использование разных методов для получения разных выводов). Однако, учитывая множество и разнообразие форм высших учебных заведений на планете, ни один из этих громких рейтингов не дает точного определения того, в чем их «лучшие» университеты должны быть лучшими. Правда в том, что «лучшие» университеты в основном стары, крупны, богаты, говорят по-английски, ориентированы на исследования и базируются на глобальном севере.
3. Проблема приложения
Конечно, как только у нас появятся индикаторы, которые являются неполноценными заменителями того, что они должны измерять (JIF, означающие «качество», и рейтинги, означающие «превосходство»), третьи стороны будут плохо использовать их для принятия решений. Таким образом, спонсоры и учреждения начали оценивать исследователей по количеству их публикаций в журналах с высоким рейтингом JIF, как будто это каким-то образом отражалось на качестве их исследований и их самих как исследователей.
Точно так же мы знаем, что одними из крупнейших пользователей глобальных рейтингов университетов являются студенты, которые хотят выбирать, где учиться (даже несмотря на то, что ни один глобальный рейтинг не дает надежного показателя качества преподавания), потому что кто не хочет учиться в «топовом» университете?
Но это не просто только студенты; Известно также, что учреждения и работодатели оценивают кандидатов на основе ранга их альма-матер. Государственные студенческие программы также часто поддерживают внимание только к 200 лучшим учебным заведениям.
4. Проблема воздействия
В конечном счете, эти проблемы оказывают огромное влияние как на индивидуальную карьеру, так и на научное предприятие. Проблемы, связанные со стремлением к публикациям в журналах с высоким JIF, хорошо задокументированы и включают в себя более высокие затраты на APC, задержки публикации, публикацию только положительных результатов по актуальным темам, высокий уровень отзывов и негативное влияние на переход к открытым исследовательским практикам.
Проблемы, связанные со стремлением к высокому университетскому рейтингу, менее документированы, но в равной степени, если не в большей степени, вызывают озабоченность. На индивидуальном уровне студентам может быть отказано в возможности учиться в выбранном ими учебном заведении, а карьерные перспективы могут быть затруднены из-за сознательной или бессознательной предвзятости, основанной на рейтинге. На уровне учреждения одержимость ранжированием может привести к драконовским практикам найма, увольнения и вознаграждения на основе показателей публикаций.
На системном уровне мы наблюдаем рост числа стран, инвестирующих в инициативы «университетов мирового уровня», которые концентрируют ресурсы в нескольких учреждениях, в то время как остальные истощаются.
Растет неравенство как внутри, так и между предложениями стран в области высшего образования, что должно серьезно обеспокоить всех нас.
Что делать?
Если мы согласны с тем, что глобальные рейтинги университетов являются такой же проблематичной формой недостойной оценки исследований, как и импакт-фактор журнала, мы должны спросить себя, почему их использование и продвижение не являются явным требованием манифестов достойных показателей. Простой ответ заключается в том, что университеты являются «жертвами», а не виновниками рейтингов. Тем не менее, университеты в равной степени участвуют в предоставлении данных и продвижении результатов глобальных рейтингов. Реальный ответ заключается в том, что рейтинги настолько активно используются людьми за пределами университетов, что неучастие в них было бы равносильно финансовому и репутационному самоубийству.
Несмотря на это, университеты имеют как право, так и ответственность принимать меры в отношении глобальных рейтингов университетов, которые полностью соответствовали бы любым заявлениям о применении достойных показателей. Это может включать:
- Избегание установки KPI на основе текущих сводных глобальных рейтингов университетов.
- Избегание продвижения результатов рейтинга университета.
- Избегать узаконивания глобальных рейтингов путем проведения, посещения или выступлений на саммитах и конференциях, способствующих повышению рейтинга.
- Совместная работа с другими глобальными университетами для переопределения качества университетов (или, точнее, качеств) и разработки более эффективных способов их оценки.
Недавно я утверждала, что университетские ассоциации могут разработать кампанию «Гораздо больше, чем наш рейтинг». Это в равной степени послужит всем университетам — от тех, которые еще не закрепились в текущем рейтинге, до тех, кто находится на вершине. Каждый университет может предложить больше, чем в настоящее время измеряется глобальными рейтингами университетов — я уверен, что это признают даже рейтинговые агентства. Такие декларации перевели бы университеты из разряда оцениваемых в разряд судей, из конкурентов в соавторы. Это дало бы им возможность пересмотреть и отметить различные характеристики процветающего университета, выходящие за рамки узких и нестандартных представлений рейтинга о «превосходстве».
Пришло время расширить наше определение достойных показателей, включив в него действия в отношении глобальных рейтингов университетов. Я не забываю о проблемах и, безусловно, открыт для диалога о том, как это может выглядеть. Но мы не должны продолжать закрывать глаза на плохое построение, достоверность, применение и влияние глобальных рейтингов, заявляя при этом о поддержке и применении достойных показателей. Мы должны с чего-то начать, и мы должны сделать это вместе, но нам нужно быть достаточно смелыми, чтобы вступить в этот разговор.