Вера Волянская, аналитик Центра трансформации образования СКОЛКОВО
Peer review, или «оценка равными» (от англ. слова «peer» – равный по уровню, положению), – центральный принцип оценивания, признания и коммуникации научного знания в западном академическом сообществе. Можно сказать, что модель peer review имеет оттенок сакраментальности, особенно в вопросах найма, области оценки текстов перед публикацией в научных журналах и оценки исследовательских проектов для выделения финансирования.
В России инструмент peer review развит в слабой форме. Да, экспертная оценка применяется повсеместно, но принцип «равенства» в оценивании соблюдается не настолько строго, а механизмы подбора экспертов и самой процедуры оценивания не проектируются детально.
Давайте проделаем упражнение: представьте, что вам надо организовать работающую систему peer review для оценки исследовательских проектов, идей для публикаций, результатов работы своих научных сотрудников и т.д. Насколько бы вы ни были уверены в правильности принципа, вы точно наткнетесь на ряд подводных камней. О них и поговорим.
Подвох №1: Остерегайтесь сопротивления дисциплинарных норм
Эксперты (peers) часто оценивают, исходя из своего прошлого опыта и приверженности дисциплинарным нормам, научным школам и традициям. Некоторые и вовсе могут воспринять оценивание научной работы как исправление ошибок. Это естественно – не все могут искусственно отделить себя от своего способа работы и образа мышления, пусть даже на время. Кроме того, именно на нормах и традициях и строится экспертность. Однако это напрямую сдерживает продвижение новых идей, так как им приходится буквально пробиваться через существующие в сознании экспертов границы.
Подвох №2: Не обманывайтесь миражом безупречного качества
Большинство исследователей сходятся в том, что процесс peer review существенно помог им улучшить качество своей работы (статьи, проекта и т.д.). Это происходит из-за диалога между автором и проверяющим экспертом, позволяющим расширить границы понимания и увидеть то, чего не было видно раньше. При этом нет гарантии, что даже опытные эксперты стопроцентно заметят ошибки или даже мошенничество в научной работе. В исследовании British Medical Journal (BMJ), одном из наиболее авторитетных медицинских peer review журналов, экспертам предложили оценить статью с 8-ю намеренно допущенными ошибками: половина экспертов нашли 2 ошибки и никто не сумел обнаружить больше 5-ти. Кроме того, сложно обнаружить фальсификацию результатов – часто из-за того, что у экспертов нет доступа к первоначальным данным, на которых основывается работа. Важно понимать, что в мире не существует единых стандартов качества для системы peer review: нормы и принципы разнятся от страны к стране, от университета к университету, от журнала к журналу.
Подвох №3: Не увязните в путах конкуренции и предубеждения
Это особенно актуально в отсутствие системы двойной анонимности (double-blind peer review), при которой ни автор, ни эксперт не видят имен друг друга. Если же имя автора известно эксперту, встречаются случаи дискриминации автора и его работы по страновому, расовому и другим признакам. Кроме того, в системе peer review есть и другие позиции. Например, редакторы научных журналов. Согласно исследованию BMJ, один опытный редактор может так же оценить качество и актуальность исследовательской работы, как и группа внешних экспертов. С другой стороны, редакторов часто обвиняют в недостатке экспертного знания, необходимого для качественного управления системой peer review. В любом случае, редакторы могут иметь свои предубеждения против авторов или тем их работ.
Подвох №4: Не дайте усталости вас одолеть
Эксперты говорят, что тщательно проверить и оценить чью-то работу часто сложнее и дольше, чем написать свою. При этом, как правило, за такую работу не предполагается вознаграждение. Конечно, полезно иногда отвлечься от своей текущей деятельности, но большое количество работ в очереди «на проверку» повышает вероятность ошибки. К тому же, эксперты высокого уровня не располагают большим количеством времени в принципе.
Подвох №5: Не угодите в ловушку времени
Долгие сроки и бесконечные этапы оценки и внесения изменений отодвигают время публикации работы. Тем самым замедляется темп научного прогресса, появления новых результатов и идей. Сейчас начинают активно использоваться другие каналы коммуникации научных результатов: это, например, открытые платформы, где можно публиковаться еще на уровне предварительной работы с данными, или даже социальные сети. Эффект будет быстрый, и активная коммуникация может запуститься уже на этом этапе. Факт публикации в научном журнале после этапов peer review становится скорее формальным, но от этого не менее важным признанием результата в академическом сообществе.
Несмотря на опасности, подстерегающие на каждом шагу, альтернативы peer review в области качественной оценки исследовательской деятельности пока нет. Сложно представить себе принцип более логичный и правильный в своей основе, чем оценка «равными» друг друга. Потому что кто, как не эксперт, равный вам, сможет лучше оценить результаты вашей научной работы?
#наука #исследования #университет #ракурсsedec