Система работает в масштабе и с такой скоростью, на которую она не была рассчитана.
Автор Джиллиан Р. Хейз
Более двух десятилетий я участвую в рецензировании как автор, рецензент, редактор и составитель рекомендательных писем для получения постоянной должности. Я верю в него — не просто как в бюрократическую обязанность, а как в коллективную практику. Это практика, лежащая в основе академической среды, посредством которой мы совершенствуем идеи, передаем стандарты и помогаем друг другу делать более качественные научные исследования.
И я обеспокоена.
Система рецензирования рушится не потому, что ученые перестали заботиться о ней, а потому, что система работает в масштабе и с такой скоростью, для которых она никогда не была рассчитана.
Рекомендательные письма для получения постоянной должности и повышения по службе являются наглядным примером. Раньше запросы на письма поступали осенью, после того, как материалы кандидатов были готовы. Рецензенты могли оценить полный список и вдумчиво ответить на несколько писем каждый год, возможно, на несколько в особенно сложный год.
Со временем количество запросов увеличилось, и они стали поступать раньше, летом, часто с неполными файлами. Сейчас в январе или феврале часто приходят запросы с просьбой «зарезервировать место» на следующую осень, с обещанием, что материалы поступят позже. Это происходит потому, что вакансий для старших научных сотрудников уже нет, и кафедры боятся получить отказ. Традиционно отказ от потенциального рекомендателя интерпретировался как сигнал о проблемах с делом. Но в наши дни этот сигнал стал, в лучшем случае, расплывчатым.
Я настолько завалена запросами на рекомендательные письма, что предприняла два экстраординарных шага: 1. Я разместила на своем веб-сайте заметку, указывающую, каким письмам я отдаю приоритет, и 2. У меня есть готовый шаблон письма, который я возвращаю, когда больше не могу обрабатывать запросы; в нем я указываю, что это связано с моей нагрузкой и не имеет никакого отношения к кандидату, который, несомненно, великолепен. В своей административной роли я теперь вижу каждое дело о присвоении ученой должности в кампусе, включая количество отклоненных запросов на рекомендательные письма. Если раньше было редкостью увидеть хотя бы один отказ от рекомендателя, то теперь часто бывает, что по делу есть хотя бы один отказ, а в некоторых случаях отказов больше, чем принятых.
Это гонка вооружений, движимая дефицитом, а не недобросовестностью. Но она влечет за собой реальные издержки. Рецензенты тратят время, не зная, что именно им предстоит оценить. Кандидатов оценивают в неравных условиях. И система поощряет первоначальные заявления о внимании, а не тщательную оценку. Профессиональные организации признали эту динамику; например, Ассоциация компьютерных исследований прямо рекомендовала сократить количество рекомендательных писем от внешних экспертов, необходимых для повышения в должности и получения постоянного контракта в сфере вычислительной техники, отмечая как нагрузку на рецензентов, так и сомнительную ценность их услуг после определенного момента.
В то же время конференции и журналы переживают резкий рост числа поступающих заявок. Одно из моих основных издательств сообщило о росте более чем на 35 процентов по сравнению с прошлым годом; другие сообщают о схожих или даже более высоких темпах. Я слышу истории о конференциях по машинному обучению и искусственному интеллекту, на которые за год поступает более 30 000 заявок. Еще совсем недавно такие цифры казались бы немыслимыми. Эти тенденции соответствуют более широким тенденциям в издательской деятельности, где рост числа заявок значительно опережает рост возможностей редакций и рецензентов.
Последствия предсказуемы. Редакторы испытывают трудности с привлечением рецензентов. Запросы на рецензирование переходят к молодым преподавателям и аспирантам. Студенты, часто добросовестные и с благими намерениями, теперь рецензируют статьи с ограниченным руководством и во многих случаях являются единственными рецензентами по поступающим заявкам. Некоторых даже просят занять руководящие должности, которые раньше требовали значительного опыта.
Это не провал профессионализма или наставничества. Это то, что происходит, когда объем увеличивается, но ответственность перераспределяется, а не перестраивается.
Генеративный ИИ вошёл в эту систему в самый неподходящий момент. В этом году я получила множество рецензий, явно написанных с помощью ИИ, и одну, которая, судя по всему, была написана полностью ИИ с минимальным контролем. В принципе, я не возражаю против использования ИИ. Я даже не считаю, что каждое использование требует раскрытия информации (в конце концов, мы же не раскрываем каждое использование проверки орфографии или калькулятора). Меня беспокоит качество рецензий, независимо от того, были ли они написаны с помощью ИИ или нет.
Я получал рецензии с просьбами исправить несуществующие цифры, определить термины, которые никогда не использовались, или ответить на аргументы, отсутствующие в статье. Это не просто недоразумения; это признаки поспешного, невнимательного рецензирования. Недавние заявления в различных дисциплинах выражают аналогичную обеспокоенность по поводу поверхностной или мнимой обратной связи в рецензировании с помощью ИИ. В то же время рецензенты всё чаще вынуждены читать работы, которые сами по себе выглядят полными небрежной работы ИИ.
ИИ не стал причиной кризиса в рецензировании. Но он показывает, как мало времени, внимания и ответственности теперь позволяет эта система.
Искусственный интеллект не является причиной кризиса в рецензировании. Но он демонстрирует, как мало времени, внимания и ответственности система теперь оставляет.
Редакторы и председатели конференций находятся под невероятным давлением. Столкнувшись с тысячами заявок, многие из них мотивированы отклонять статьи из-за самых незначительных и безобидных ошибок. Хотя это приводит к увеличению количества отказов и созданию недружелюбной атмосферы, это не потому, что сами волонтеры, управляющие этим процессом, недружелюбны. Мы создали систему, в которой сортировка заявок становится единственным жизнеспособным механизмом преодоления трудностей. Исследования процесса принятия редакционных решений при высокой нагрузке на прием заявок показывают явный сдвиг в сторону раннего отклонения по мере увеличения объема. Я не виню в этом редакторов. Система поощряет скорость и решительность, а не умение выстраивать отношения.
Тем не менее, культурный сдвиг поразителен. Так было не всегда.
Я помню, как во время учебы в аспирантуре аспирант из другого университета обнаружил ошибку в анализе принятой к публикации статьи. Он сообщил об этом председателям конференции. Они не заставили автора отозвать статью. Вместо этого они опубликовали вставку, подобную заметкам дублера в программке спектакля, с объяснением проблемы, и распространили ее вместе с материалами конференции. Я узнала об этой ошибке, когда председатель секции публично похвалил студента за честность и призвал всех прочитать статью.
Этот момент научил нас тому, как выглядит хорошая наука и какой может быть культура признания ошибок.
В соответствии с сегодняшними нормами, этого студента почти наверняка заставили бы отозвать статью, а не тратить дополнительные силы на ее исправление, как это делали председатели много лет назад. Исследования по исправлению научных ошибок показывают, что карательные меры препятствуют раскрытию информации и со временем подрывают целостность исследований. Система, которая реагирует таким образом, не должна удивляться, когда люди начинают неохотно признавать ошибки.
За более чем 20 лет работы в издательском деле я ни разу официально не жаловалась на рецензирование. В этом году я сделала это дважды. Мне было ужасно стыдно, но я также защищала студентов, которые, как я видела, не получали того же отношения, на которое могли рассчитывать студенты 20 лет назад: гибкости, справедливости и качественной критики их работы. И сам факт жалобы, и дискомфорт, который я испытывал, имеют значение. Это сигнализирует о системе, которая рушится, и о реальных человеческих издержках этого краха.
Мы часто реагируем на это давление, призывая людей «устанавливать границы»: принимать меньше запросов на получение профессорской должности, работать в меньшем количестве комитетов, отклонять больше рецензий, отклонять больше заявок. Многие так и делают. И это работает, временно.
Но когда все так поступают, работа не исчезает. Она смещается вниз. Аспиранты чаще рецензируют. Молодые ученые несут на себе непропорционально большую нагрузку. Менее опытные люди оказываются на оценочных позициях без надлежащей поддержки. Исследования, посвященные труду в сфере академических услуг, неизменно показывают подобное перераспределение в условиях дефицита, часто усугубляющее неравенство в зависимости от этапа карьеры, типа учреждения и пола.
Это нельзя решить с помощью более разумного личного выбора. Проблема масштаба носит структурный характер.
Если мы всерьез хотим сохранить систему рецензирования, мы должны перестать рассматривать научные усилия как невидимый и бесконечно гибкий ресурс. Некоторые меры сложны, но необходимы и уже обсуждаются в некоторых частях экосистемы научных публикаций:
- Сокращение объема, а не только скорости: меньшее количество необходимых рекомендательных писем для получения постоянной должности, меньше циклов редактирования и повторной подачи и серьезное внимание к росту числа поступающих статей, который опередил возможности рецензирования.
- Подчеркивание качества при оценке карьеры. Мы можем глубже вовлекаться в процесс и добиваться лучших результатов, если будем читать и действительно размышлять над несколькими ключевыми статьями. Слишком часто мы используем количество статей как показатель, а не качества.
- Рассматривать рецензирование и редактирование как научный труд, который явно ценится при принятии решений о рабочей нагрузке и продвижении по службе, а не как невидимую услугу.
- Перераспределить ответственность вверх, обеспечив, чтобы ведущие ученые и учреждения брали на себя надлежащую оценочную работу, а не полагались на аспирантов в качестве временной меры.
- Инвестировать в редакционную инфраструктуру, включая расширение составов редакционных советов и профессиональную координацию штатными сотрудниками, а не волонтерами, для изданий, работающих с большим объемом публикаций.
- Разработать процессы, которые поощряют исправление ошибок и прозрачность без автоматического отзыва или нанесения ущерба репутации, согласовывая стимулы с научной добросовестностью, а не с избеганием рисков.
Ни одно из этих изменений не может быть достигнуто только благодаря индивидуальной доброй воле. Они требуют коллективного согласия и институциональной поддержки.
Рецензирование зависит от доверия, внимания и заботы. Мы потребляем их быстрее, чем можем восполнить.
Если мы ценим рецензирование и академические сообщества, которые оно поддерживает, мы должны перестроить его для устойчивости, а не для героических поступков. В противном случае мы должны признать то, что мы уже делаем: позволяем одному из центральных столпов академической жизни тихо рухнуть под собственной тяжестью.