Математики придумали способ сделать конкурсы честнее

В мире науки и инноваций, где каждый грант может стать основой для значимого открытия, важность объективности экспертной оценки проектов трудно переоценить. Однако практика показывает, что субъективность экспертов нередко влияет на решения, что может привести к предпочтению одних проектов перед другими. Для решения этой проблемы специалисты Московского технического университета связи и информатики (МТУСИ) в сотрудничестве с Фондом содействия инновациям разработали математическую модель для более объективной оценки заявок.

Цель исследования, проведённого российскими учёными, — повышение прозрачности и справедливости конкурсных процедур. Разработанная модель учитывает ключевые параметры групповой экспертизы, такие как количество экспертов, минимальное число положительных оценок, необходимых для одобрения проекта, а также пороговый балл, определяющий минимально допустимую оценку.

Процесс оценки выглядит следующим образом: заявку оценивает группа экспертов, численностью от двух до семи человек. Каждый эксперт выставляет баллы от 0 до максимально возможного значения (H). Для одобрения проекта достаточно, чтобы хотя бы k экспертов поставили оценки, не ниже заданного порога (H₀). В противном случае заявка отклоняется.

Как пояснил доктор технических наук, профессор кафедры «Математическая кибернетика и информационные технологии» МТУСИ Евгений Саксонов, одной из распространённых схем является ситуация, когда заявку оценивают два эксперта, и решение принимается при наличии хотя бы одной высокой оценки. Например, если m = 2, k = 1 и порог H₀ = 10, то достаточно, чтобы хотя бы один эксперт поставил 10 баллов и более, чтобы проект был одобрен, несмотря на низкую оценку другого специалиста.

Для проверки модели учёные исследовали результаты 1503 заявок, прошедших через двойную экспертизу. При пороге в 10 баллов было одобрено 341 проект. Однако в 21% случаев мнения экспертов сильно расходились, что показывало, как судьба проекта зависела от одного решения, увеличивая вероятность влияния субъективности.

Интересным оказался и эксперимент с регулировкой порогового значения. При повышении H₀ с 10 до 16 баллов доля одобренных проектов снизилась с 22,7% до нуля, что подтверждает прямую зависимость результатов от выбранных условий.

Авторы исследования предлагают несколько путей повышения объективности оценки. В первую очередь они рекомендуют учитывать суммарные оценки всех экспертов, чтобы снизить влияние одного решающего голоса. Также предлагается регулировать пороговый балл в зависимости от целей конкурса: более высокий порог поможет сосредоточиться на более перспективных проектах. Важно, чтобы правила экспертизы тщательно анализировались до их введения, обеспечивая максимальную объективность и справедливость решений.

Таким образом, предложенная модель может стать важным шагом на пути к более прозрачным и справедливым процедурам оценки, что обеспечит более качественную поддержку инновационных проектов.