Автор Брендан О’Мэлли
Согласно новому исследованию Центра исследований в области высшего образования Калифорнийского университета Беркли , глобальные рейтинги университетов могут искажаться из-за деловой активности составителя рейтинга, включая продажу консалтинговых, аналитических и других услуг университетам.
Результаты показывают, что российские университеты, часто использующие услуги, предоставляемые QS - ведущей рейтинговой компанией, - со временем улучшили свои позиции в мировом рейтинге университетов QS, независимо от улучшения качества их институтов.
Согласно Калифорнийскому университету в Беркли, это исследование является первым эмпирическим свидетельством того, как деловые отношения между участниками рейтингов и университетами влияют на рейтинги.
В исследовании старшего научного сотрудника Игоря Чирикова оценивается влияние конфликта интересов, когда составители рейтингов не только оценивают университеты, но и предоставляют им коммерческие услуги.
Составители рейтингов университетов утверждают, что конфликты интересов не влияют на процесс ранжирования и что существуют внутренние процедуры, предотвращающие влияние консультационных или рекламных услуг на результаты ранжирования, говорится в исследовании.
Однако исследование ставит под сомнение это утверждение после сопоставления данных о позициях 28 российских университетов в мировом рейтинге университетов QS с 2016 по 2021 год с информацией о контрактах, заключенных этими университетами на услуги от QS.
Он сравнивает колебания в рейтинге QS с данными, полученными из рейтингов университетов Times Higher Education (THE), и данными национальной статистики. Изменения в рейтингах сравнивались между университетами, которые часто заключали контракты с QS на услуги, и теми, которые никогда или редко заключали контракты на услуги QS.
В исследовании говорится, что результаты показывают, что университеты с частыми контрактами, связанными с QS, испытали гораздо большую подвижность как в общих рейтингах, так и в соотношении преподавателей и студентов в течение пяти лет в рейтинге QS World University Rankings.
Позиции российских вузов, с которыми часто заключались контракты, связанные с QS, выросли на 0,75 стандартного отклонения (примерно 140 позиций) больше, чем они бы увеличились без таких контрактов.
Аналогичным образом, показатели соотношения преподавателей и студентов QS в российских университетах, которые часто заключали контракты, связанные с QS, увеличились на 0,9 стандартного отклонения больше, чем они бы увеличились без частых контрактов, связанных с QS. Взятые вместе, эти результаты показывают, что конфликт интересов может привести к значительным искажениям в глобальных рейтингах университетов.
«Это первое на сегодняшний день эмпирическое свидетельство того, что конфликт интересов рейтинговых агентств может негативно повлиять на результаты в рейтинге университетов», - говорит Чириков, автор исследования.
«Результаты новы для высшего образования, но они согласуются с многочисленными исследованиями из других секторов экономики, предполагающими, что конфликт интересов приводит к необъективным оценкам.
«Скорее всего, составители рейтингов, ресурсы которых зависят от университетов, уязвимы для бессознательной корыстной предвзятости, о которой также свидетельствуют исследования конфликта интересов среди аудиторов. Корыстная предвзятость может привести к более благоприятному рассмотрению данных, поступающих из университетов, которые также являются частыми клиентами, по сравнению с другими типами учреждений», - сказал Чириков.
Рейтинг QS World University Rankings был выбран в качестве основного по сравнению с другими рейтингами, потому что QS предлагает более широкий спектр услуг, чем другие рейтинговые агентства, включая платную рейтинговую систему Q Stars, а также потому, что у него было больше контрактов с российскими университетами, чем у других рейтинговых агентств, и потому что «его медиа каналы и эксперты в области высшего образования часто критиковали за то, что они не сообщали о конфликте интересов».
В своем исследовании Чириков утверждает, что структура активности QS предполагает большую зависимость от университетов, чем другие рейтинговые агентства, такие как THE и US News & World Report, которые получают доход от значительного контента на основе подписки.
Он говорит, что QS Stars - один из самых противоречивых продуктов QS из-за высокого потенциала возникновения конфликта интересов. Это включает в себя оценку качества университета по восьми категориям, таким как обучение, исследования и интернационализация, и присуждение звезд 0-5 +, результат, который отображается в профиле университета на веб-сайте QS и в таблицах рейтингов.
Согласно исследованию, университеты должны оплачивать первоначальный аудит, а также ежегодную плату, которая позволяет им использовать графику QS Stars в своих рекламных материалах.
Рейтинговая команда «функционально независима»
Когда QS попросили прокомментировать исследование, представитель QS Тим Эдвардс сказал University World News, что QS уверена в надежности своего подхода, который «опирается на хорошо отлаженные процессы управления и обеспечения качества, которые гарантируют, что наши рейтинговые операции и команда функционально независимый».
«Мы руководствуемся миссией, и честность лежит в основе как наших ценностей, так и нашей бизнес-модели», - добавил он.
«Наша роль в качестве надежного партнера сектора на протяжении более 30 лет - в настоящее время обслуживающего более 1300 университетов в более чем 50 странах - является свидетельством силы нашей добросовестности во всей нашей деятельности, которая обслуживает сектор».
QS описывает себя на своем веб-сайте как «самый популярный в мире источник сравнительных данных об успеваемости в университетах»: в 2019 году его веб-сайт просмотрели 149 миллионов раз.
Он сказал, что прозрачность QS распространяется на обеспечение того, чтобы подробные сведения о ее методологиях и определениях данных для всех ее рейтинговых мероприятий были общедоступными, и компания приветствует обратную связь и проверку.
Доверие, основанное на кажущейся беспристрастности
В исследовании говорится, что достоверность рейтингов основана на убеждении, что составители рейтингов предоставляют беспристрастную информацию для будущих студентов, администраторов университетов и политиков. В нем говорится, что подразумевается, что все университеты оцениваются справедливо или, по крайней мере, в соответствии с единым набором критериев.
«Однако составители рейтингов сталкиваются с конфликтом интересов, когда, помимо объективной оценки деятельности университетов, они предлагают этим университетам платные аналитические, консультационные и рекламные услуги.
«Конфликт интересов потенциально влияет на объективность показателей, используемых при составлении рейтингов, и может дать университетам некоторые преимущества, не связанные с их институциональным качеством», - говорится в сообщении.
Исследование предупреждает, что предвзятые меры могут дезинформировать будущих студентов, университеты, правительства и спонсоров о глобальном положении университетов и стран. Он советует не использовать глобальные рейтинги, если конфликт интересов может быть вызван его деловой деятельностью.