Говоря о повышении или снижении среднего балла ЕГЭ, о сравнении регионов по этому параметру, следует иметь в виду, что средний балл - показатель синтетический, и правила его подсчета часто изменяются. Например, за 11 из 12 выполненных заданий первой части профильного ЕГЭ по математике в 2021 г. начисляли 56 тестовых баллов, за 12 - 62 балла. В 2022 и 2023 - 64 балла за 11 из 11. Кроме того, сокращается число участников. Что лучше, средний балл 48 в 2013 г. в Иркутской области, когда математику сдавали все выпускники 11 класса, или 49 баллов в 2023 г., после сокращения числа участников вдвое? Средний балл вырос, но есть нюансы...
Как изменялось число учеников, решивших задачу на определенную тему? Как выглядит распределение участников ЕГЭ, набравших высокие баллы, по регионам, городам и районам страны? Результаты можно было бы представить в удобной форме. Даже если у ФИПИ и Рособрнадзора нет ресурсов и бюджета, чтобы это сделать, этим занялись бы другие, если бы был доступ к информации. В идеале - база результатов ОГЭ/ЕГЭ без ФИО. Или хотя бы таблицы, в которых записано число решивших то или иное задание для каждой административно-территориальной единицы. Светлое пятно и образец - информационная система ОГЭ/ЕГЭ Костромской области. Почему нельзя было так сделать для всей страны? Желательно - 15-20 лет назад, но лучше поздно, чем никогда.
К сожалению, о полноценном доступе к исходным данным приходится лишь мечтать. Даже с той информацией, которая, по идее, должна быть доступна для анализа и обсуждения, заинтересованные лица нередко вынуждены обращаться так, словно она обрабатывается не в Федеральном институте педагогических измерений, находящемся в Москве, а на заброшенной лунной базе третьего рейха. Запрет на официальную публикацию контрольно-измерительных материалов усугубляет трудности при анализе статистики.
И всё же поделюсь некоторыми наблюдениями.
Вероятная тройка лидеров: Татарстан, Москва, Санкт-Петербург
Москва, по-видимому, не публикует аналитический отчет по результатам ЕГЭ как единый документ, но некоторые данные есть в открытом доступе. Правда, искать их приходится в записях докладов на сайте Московского центра качества образования.
Итак, помогает ли Москве кратная разница в подушевом финансировании школ и зарплатах учителей превзойти всю остальную страну по результатам ЕГЭ? Например, в профильной математике? Ответ: да, но не совсем. На первом месте Татарстан, где, среди прочего, некоторые сельские районы по доле участников с высокими баллами обгоняют и Казань, и Москву, и Санкт-Петербург. Остальные регионы, вероятно, позади этой тройки, но почему-то никто не считает нужным разбираться в цифрах и составлять рейтинги. Появившаяся в какой-то момент интерактивная карта Рособрнадзора давно недоступна. (Я думаю, что причина не столько в опасениях, что по этим данным станут оценивать работу региональных чиновников и губернаторов, сколько в том, что они наводят на слишком неприятные мысли относительно неравенства в доступе к бесплатному образованию.)
Диаграммы за два последних года выглядят как аккуратная лесенка, но в 2021 г. картина была иной.
Это что же получается, в Москве в 2021 г. результаты были ниже, чем в среднем по стране?!
За неимением альтернатив мы вынуждены довериться слайду из презентации. К счастью, в следующем году московским школам удалось совершить мощный рывок на 8 баллов и опередить Санкт-Петербург. Иногда, как мы видим, качество образования растет скачкообразно. В 2021 г. было чуть хуже среднероссийского уровня, в 2022 г. - уже заметно лучше. Казалось бы, при чем здесь сложность вариантов и качество работы предметных комиссий?
(Кроме того, интересно, где еще в 2021 г. были высокие результаты, кроме Татарстана? Если бы существовала информационная система с интерактивной картой, это было бы легко выяснить. В текущих условиях, увы, ради этого придется перерыть множество сайтов с документами в формате pdf, и не для всех регионов такие сайты существуют.)
Но, как уже было сказано, средний балл ЕГЭ - синтетический, малоинформативный, подверженный манипуляциям показатель. Что еще можно сравнивать? Например, в опубликованных данных указаны проценты выполнения каждого задания, т.е., какую долю первичных баллов за каждое задание участники набрали в среднем.
В целом ничего криминального не заметно. Плохо, но в пределах ожидаемого. Геометрия (№13 и №16) на нуле даже в лучших регионах. Виден пониженный процент выполнения по заданиям №4 (вероятность) и №14 (неравенство) в Москве. В №14 в этом году встречались задачи, где требовалось преобразовывать выражения с квадратом логарифма, - такое безобразие многие участники профильного экзамена "не проходили". Задание №15 (кредит), по-видимому, наоборот, в московских вариантах оказалось проще, а в Санкт-Петербурге по сравнению с 2022 г. доля набранных за это задание баллов упала в три раза, с 43% до 14%. В части вариантов были задания, где пришлось использовать две переменные для ставки по кредиту, отчего эта мерзопакостная задача по программе 7-8 классов, славящаяся мутными формулировками и громоздкими вычислениями, стала менее доступной для тех, кто старательно готовился по методичкам.
Источники: видеозапись в случае Москвы, отчет по Татарстану, отчеты по Санкт-Петербургу, отчет ФИПИ. Блокнот Colab, в котором построены диаграммы, можно посмотреть здесь.
Ступеньки на графиках с распределением баллов
Глядя на распределение, типичный математик хочет, чтобы оно выглядело нормально. Приблизительно так:
При всём уважении к Карлу Фридриху Гауссу и при всех тёплых чувствах к гауссиане должен сказать, что распределение баллов априори не обязано быть нормальным. Например, потому, что участники могут принадлежать к двум или нескольким разнородным группам, в каждой из которых по отдельности всё нормально, а после суммирования получается неведомая многогорбая кривая.
Действительно, эти графики часто бывают кривые, косые, а иногда их вообще предпочитают не рисовать, как, например, в методических рекомендациях ФИПИ за 2023 г. Ниже прошлогодний рисунок.
Приведу также графики из отчетов регионов.
Для сравнения добавлю очень характерный график из другого региона.
Как видим, бывают более-менее плавные графики с одним выраженным максимумом (Санкт-Петербург, 2023, Краснодарский край, 2023), а бывают явно двугорбые, встречаются также графики со скачками и выбросами на отдельных значениях.
Что касается двугорбости (мультимодальности), это, в конце концов, не так удивительно. Например, есть школы с учителями, а есть без учителей; есть обычные школы, есть лицеи и гимназии; есть подготовка только по первой части, есть по второй; кто-то занимается сам, кто-то ходит к репетиторам. Отсюда могут возникнуть несколько групп учеников, каждая со своим математическим ожиданием.
Но резкий скачок на минимальном балле (27 тестовых или 5 первичных) - явная аномалия. Поскольку она встречается в разных регионах в отдельные годы, а в другие годы отсутствует, то, скорее всего, графики были получены разными способами. Например, в какие-то годы при составлении отчета можно было не включать в статистику первую попытку тех, кто уходил на пересдачу, в другие годы основной период учитывали полностью. В лучшем случае это означает, что данные из отчетов - грязные. В отдельные годы показатели завышены за счет исключения двоечников из статистики.
В худшем случае результаты корректировались вручную. Есть ли ещё варианты? Думаю, что нет.
Вероятность того, что такое распределение получилось случайно, астрономически мала, поскольку в ЕГЭ нет пяти задач, которые можно выбрать ради гарантированного получения минимального балла, и участников профильного экзамена такой балл интересует крайне редко. Ошибки в задачах первой части участниками с близким уровнем подготовки делаются более-менее независимо. Значит, мы вправе ожидать, что распределение будет выглядеть как плавная кривая, сумма нескольких гауссиан, и разница между числом набравших 4 первичных балла и числом набравших 5 первичных баллов не должна выделяться на общем фоне.
Кроме того, если бы были какие-то внутренние причины для появления "скачков" на минимальном балле, то аномалия наблюдалась бы в одних и тех же регионах каждый год, а это не так.
Всё же полагаю, что в отдельные годы у региональных чиновников обостряется желание повысить показатели. Тогда средний балл высчитывают, включая только результаты на пересдачах, да и то, возможно, только часть из них. Процент потерпевших фиаско резко падает. Качество образования стремительно улучшается. Разве кого-то интересует, что происходит на самом деле? Главное - отчетность!
А каких сведений из области образовательной статистики не хватает лично вам?