Процедура.
Студенты, участвовавшие в PISA 2015, сдали компьютерный тест, который длился в общей сложности 2 часа на каждого студента. Они также ответили на справочную анкету, заполнение которой заняло около 35 минут. Собранные данные были обработаны и опубликованы OECD.
Для достижения целей нашего исследования мы использовали данные OECD для проведения двухэтапного анализа. Во-первых, была выявлена модель благосостояния, сконфигурированная по измерениям или компонентам, которые оказывают существенное влияние на успеваемость учащихся в международном контексте. В качестве предварительного шага каждое измерение предлагаемой модели анализировалось индивидуально, отбрасывая переменные до тех пор, пока модель не будет адекватно соответствовать данным. Затем была построена модель благополучия и успеваемости, в качестве зависимой переменной введена научная успеваемость (основная область издания PISA 2015 г.). Эффективность научной деятельности оценивалась как среднее из 10 возможных значений, используемых в PISA для оценки уровня знаний учащихся. Предлагаемая модель благосостояния была сконфигурирована для всей выборки учащихся OECD.
Во-вторых, масштаб влияния школы с точки зрения различных показателей благосостояния оценивался на международном и страновом уровнях. С этой целью была проведена оценка валовой дисперсии показателей благосостояния, учитываемых по кластеризации, а также дисперсии, скорректированной в зависимости от характеристик учащихся.
Кроме того, были проанализированы взаимосвязи между факторами на уровне учащихся/школ и показателями благосостояния на международном и страновом уровнях. С этой целью предыдущая модель была обогащена переменными-предсказателями, связанными с характеристиками школ.
Анализ данных
На первом этапе модель благополучия оценивалась с использованием подтверждающего факторного анализа (CFA), где латентными переменными были те, которые были представлены в виде ответов учащихся на вопросник. Использованный метод оценки имел максимальную вероятность с робастными стандартными ошибками. Подгонка модели анализировалась по различным критериям: сравнительный индекс подгонки (CFI), индекс Таккера-Льюиса (TLI), квадратная ошибка аппроксимации корневой средней величины (RMSEA) и стандартизированный квадратный остаток корневой средней величины (SRMR), с учетом обычных критериев, изложенных в работе Ху и Бентлера (1999): CFI и TLI должны быть больше 0.95, RMSEA должна быть ниже 0.06, а SRMR ниже 0.08. Затем множественные регрессии для стран OECD в целом и для отдельных стран были использованы для расчета стандартизированных бета-весов и процента дисперсии академических достижений как функции исследуемых переменных. CFA осуществлялся с использованием лавового пакета программного обеспечения R (Rosseel, 2012), а множественные регрессии - с использованием rms-пакета (Harrell, 2019).
Второй шаг был направлен на измерение на уровне OECD и на уровне отдельных стран эффективности школ в продвижении аспекта благополучия, а также тех переменных, которые были определены на шаге 1 как важные в отношении успеваемости. На уровне стран данные ПМОУ имеют иерархическую структуру, в которой лица на уровне 1 (учащиеся) вложены в кластеры на уровне 2 (школы). Общепризнано, что исследования эффективности школ требуют применения многоуровневых методов, таких как методы, разработанные Эйткином и Лонгфордом (1986), как для оценки масштабов воздействия школ, так и для анализа воздействия факторов, связанных с учащимися и школой. Таким образом, в этой работе для оценки влияния школы на показатели благополучия использовалось иерархическое линейное моделирование, при котором в межстрановом анализе применялся двухуровневый метод: первый уровень соответствует учащимся, а второй - школам.
Оценка дисперсионных компонентов модели позволяет рассчитать внутриклассовой коэффициент корреляции (ВКК), который представляет собой долю вариации зависимых переменных, учитываемых кластеризацией, т.е. ВКК, представляет собой отношение дисперсии между школами к сумме дисперсии между школами и внутри школ.
Фаза 1. Оценка модели нуля
На первом этапе валовые эффекты школы оценивались с помощью нулевой модели, которая содержала только зависимые переменные и константу. В этой конфигурации модель имеет случайные эффекты на обоих уровнях без учета каких-либо управляющих переменных. Нулевая модель обычно устанавливается в качестве отправной точки многоуровневого анализа. Это позволяет получить "валовые" эффекты школы, оцениваемые через ICC, т.е. те эффекты, которые не корректируются с учетом контекстуальных переменных.
Этап 2. Оценка модели, включающей корректирующие переменные.
Существует консенсус в отношении того, что влияние школы не может измеряться с точки зрения "валовых" результатов, а должно корректироваться соответствующими факторами, связанными с успеваемостью учащихся. С этой целью на втором этапе модель была обогащена контрольными переменными, и были оценены скорректированные эффекты школы, измеренные с точки зрения МТП.
