«Пробелы в данных» мешают раннему детству, школьным расходам, окончанию средней школы и репетиторским вмешательствам.
Фредерик Гесс
Десять лет назад Джон Фуллертон из Гарварда вместе со мной написали книгу «Числа, которые нам нужны», утверждая, что системы образовательных данных слишком много внимания уделяют показателям, полезным для политиков, и слишком мало — цифрам, полезным для преподавателей и семей. Мы заметили, что данные, наиболее полезные для политиков, «часто представляют собой простые, прямые данные о результатах оценивания и количестве выпускников, в то время как ключевые данные для районных чиновников проливают свет на «черный ящик» школы и округа, объясняя, почему эти результаты выглядят именно так. и что с ними можно сделать».
Те же опасения не покидают нас и сегодня. А сбои в связи с пандемией только сделали потребность в полезных, действенных данных еще более острой. Что ж, в недавнем отчете «Восполняя пробелы в данных об образовании» Фуллертон, исполнительный директор Гарвардского центра исследований политики в области образования, пытается понять, почему неудовлетворенность данными остается такой высокой и что мы можем с этим поделать. Фуллертон на протяжении многих лет тесно работал с данными штатов и округов в рамках проекта CEPR по стратегическим данным, и он обладает огромным опытом в этой области. Анализ был опубликован AEI Education, которым я руковожу.
Фуллертон утверждает, что у нас никогда не бывает достаточно данных по двум причинам: технические ограничения и нормативные разногласия по поводу того, что должны делать школы и как это эффективно измерить. Чтобы разобраться во всем этом, он исследует «пробелы в данных», которые мешают раннему детству, школьным расходам, окончанию средней школы и репетиторским вмешательствам.
Например, когда дело доходит до определения эффективности репетиторства, он отмечает, что мы часто не знаем, сколько тратится на конкретные вмешательства или даже какие учащиеся получают какие вмешательства. Фуллертон пишет, что до тех пор, пока это так, ни школьная система, ни оценщики «не смогут определить, работает ли репетиторство», «стоимость репетиторства по отношению к росту учащихся» или «является ли репетиторство более или менее рентабельным», чем другие вмешательства».
Такого рода проблемы можно решить. Фуллертон говорит, что если мы хотим понять, действительно ли репетиторство (или любое другое вмешательство или программа) работает, школы должны быть последовательными в том, как они собирают и сообщают основные данные. Он объясняет, что округа в настоящее время не стандартизируют и даже не собирают базовую информацию: обучается ли учащийся математике или истории? Во время или после учебного дня? Посещает ли учащийся вообще каждую сессию? Фуллертон предлагает школам отслеживать участие в программах и мероприятиях и интегрировать их в информационные системы учащихся. Так, например, «Учащийся, получающий интенсивное репетиторство, может быть помечен как «интенсивное репетиторство, [название провайдера], математика, два часа в неделю, в школе, очно».
Однако даже если мы сделаем все правильно, неудовлетворенность данными сохранится из-за более широких технических недостатков, особенно в том, как мы измеряем результаты. Например, он отмечает, что «оценки не особенно надежны в демонстрации реальных навыков учащихся», в то время как стандартные тесты пропускают важные навыки и компетенции. Как выразился Фуллертон, «показатели, особенно результатов образования, почти никогда не охватывают все богатство того, что мы хотим измерить эффективно и вовремя, чтобы быть полезными».
И затем, конечно же, Фуллертон указывает на роль нормативных разногласий по поводу того, какие данные мы должны собирать и почему. Как он пишет, технические дебаты о том, как и когда собирать данные, часто упускают из виду тот факт, «что мы не согласны, по крайней мере, в каком-либо глубоком смысле, в деталях того, для чего предназначено образование и что мы даже пытаемся измерить.»
В заключение Фуллертон мудро предупреждает: «Мы также должны сохранять соответствующее чувство смирения и понимать, что данные не ответят на все наши вопросы и не устранят наши основные разногласия». Мы не должны просить данные делать то, чего они не могут. Но мы также должны убедиться, что делаем все возможное, чтобы данные делали все возможное, чтобы помочь нам понять влияние нашего головокружительного множества программ, практик и вмешательств.