В мире науки и инноваций, где каждый грант — это шанс на прорыв, справедливая оценка проектов становится критически важной задачей. Однако, как показывает практика, человеческий фактор может существенно искажать результаты экспертизы, отдавая предпочтение одним проектам перед другими из-за субъективных оценок.Новое исследование группы ученых из МТУСИ и Фонда содействия инновациям предлагает математическое решение этой проблемы.
Разработанная учёными модель позволяет объективно оценить вероятность принятия заявки на конкурс, учитывая различные параметры групповой экспертизы: количества экспертов, необходимого для положительного решения, и порогового балла, определяющего «проходной» уровень.
Как работает экспертиза на самом деле?
«Для принятия решений формулируется условие. Экспертиза заявки проводится группой из m экспертов (1 < m), работающих независимо друг от друга. Результаты проведенного анализа показали, что на практике максимальное значение m не превышает 7, так что в данном случае 1 < m≤ 7. Каждый эксперт выставляет оценку от 0 до H, где H — максимально возможный балл. Заявка принимается, если хотя бы k экспертов поставили оценку не меньше заданного порога (H₀). Если это условие не выполняется, заявка отклоняется. Случай, когда m = 2 и k = 1, достаточно широко распространен на практике, поэтому целесообразно исследовать его более подробно, с использованием статистических материалов, полученных в результате проведения 153 экспертизы. Например, если m = 2 (два эксперта), k = 1 (достаточно одного эксперта), а H₀ = 10, то заявка будет принята, если хотя бы один эксперт поставил 10 баллов или больше. Даже если второй эксперт поставил низкую оценку, решение будет положительным», — отмечает Саксонов Евгений Александрович, д.т.н., профессор кафедры «Математическая кибернетика и информационные технологии» (МКиИТ) МТУСИ.
Что показали цифры
Анализ данных 1503 заявок, оцениваемых двумя экспертами, подтвердил данную закономерность. При пороговом значении в 10 баллов из 16, заявка, как правило, одобрялась, если хотя бы один эксперт давал высокую оценку. По условию при H0 = 10, была принята 341 заявка. Однако в 21% случаев мнения экспертов кардинально расходились: один ставил высокий балл, а другой — низкий. Получается, что мнение одного эксперта может решить судьбу проекта, даже если другой эксперт видит его недостатки. Кроме того, 95 заявок получили оценки большие или равные 10 сразу у двух экспертов.
Ученые также провели эксперимент и пришли к выводу, что регулирование порогового балла позволяет контролировать количество одобренных заявок. Повышение этого порога с 10 до 16 баллов привело к падению числа принятых проектов с 22,7% до нуля.
Математика на страже справедливости
Чтобы избежать субъективности, ученые предложили несколько решений. Во-первых, нужно учитывать сумму оценок всех экспертов, чтобы нивелировать влияние одного «решающего» голоса. Во-вторых, регулировать пороговый балл, определяющий минимальную оценку для прохождения, фокусируясь на самых перспективных. И наконец, проводить тщательный анализ условий принятия решений. То есть, прежде чем применять те или иные правила, необходимо убедиться, что они обеспечивают объективные и качественные результаты.
Результаты исследования могут быть полезны при организации любых конкурсов, где используется групповая экспертиза.
Читайте статью в издании «Научная Россия»
—
Материал подготовлен на основе статьи «АНАЛИЗ УСЛОВИЯ ПРИНЯТИЯ РЕШЕНИЯ ПРИ ЭКСПЕРТИЗЕ ЗАЯВКИ», опубликованной в сборнике трудов XVIII Международной отраслевой научно-технической конференции «ТЕХНОЛОГИИ ИНФОРМАЦИОННОГО ОБЩЕСТВА» (с.152-154).
#наука_МТУСИ