Множество литературных источников, посвященных вопросам математической статистики и эконометрики, оперируют, к сожалению, только матричными формулами расчета оценок коэффициентов линейной регрессии и статистик, отражающих их свойства. Такие источники открывают интересный мир статистических инструментов и могут представлять большую ценность для ученых, преподавателей, аспирантов и студентов, проводящих исследования не только в области экономики, но и любых дисциплин, зависящих от изучения случайных величин (медицина, психология, метеорология и т.д.).
Однако матричные формулы расчета могут оттолкнуть исследователей, не знакомых с линейной алгеброй в целом и с алгоритмами умножения, нахождения определителей и транспонирования матриц в частности. При этом вывод формул коэффициентов линейной регрессии методом наименьших квадратов (далее - МНК) для случая одного регрессора сложности для исследователей, как правило, не представляет, так как для его понимания нужно лишь знать производную функции квадрата х по x.
Данная статья поможет вам построить «мост» от нематричных формул к матричным с помощью простейшего примера для четырех пар наблюдений.
Постановка задачи
Рассмотрим предполагаемую исследователем зависимость между откликом (зависимой переменной) y и фактором (регрессором, независимой переменной, фактором) – x следующего вида:
где i – номер пары наблюдений, yi – значение отклика, соответствующего i-ой паре наблюдений, хi – значение фактора, соответствующего i-ой паре наблюдений, ei – случайная ошибка, соответствующая i-ой паре наблюдений.
Предположим, что значения фактора и отклика для четырех пар наблюдений известны (обозначения представлены в Таблице №1).
Таблица №1
Ниже приведем два метода вывода формул оценок коэффициентов регрессии методом наименьших квадратов в рамках как нематричной, так и матричной записей. Начать следует с наиболее простого и привычного нематричного подхода.
Вывод формул оценок коэффициентов методом наименьших квадратов. Нематричный подход
В соответствии с МНК формулы оценок коэффициентов a и b выводятся путем решения системы двух уравнений, каждое из которых отражает равенство нулю производных суммы квадратов ei по коэффициентам a и b.
Из второго (нижнего) уравнения системы выведем формулу оценки коэффициента b:
Подставляя оценку коэффициента b в первое уравнение системы, найдем оценку коэффициента a:
Если имеются данные четырех пар наблюдений, формулы расчета статистик, важных для расчета оценок коэффициентов a и b будут иметь следующий вид:
Вывод формул оценок коэффициентов методом наименьших квадратов. Матричный подход
В рамках матричного подхода к определению оценок коэффициентов регрессии особое внимание следует уделить системе обозначений, описанием которой авторы многих источников, к сожалению, пренебрегают.
В частности, матрица регрессоров xi (в большинстве источников обозначается заглавной буквой Х) имеет следующий вид:
Именно вид модели регрессии, подразумевающий наличие свободной переменной «a», приводит к тому, что первый столбец матрицы Х состоит из единиц. Целесообразно запомнить эту особенность.
Множество известных значений отклика yi записывается как матрица-столбец:
Множество значений оценок коэффициентов a и b модели, которые нужно найти с помощью МНК, записывается как матрица-столбец и обозначается греческой буквой β:
Вектор ошибок записывают следующим образом:
В частности, на странице 48 известной среди эконометристов и переведенной на русский язык книги профессора Университета Окленда (Новая Зеландия) Дж. Себера «Линейный регрессионный анализ» (1980, Москва, издательство «Мир» (Linear Regression Analysis, G. A. F. SEBER)), приведена следующая запись уравнения регрессии в матричной форме, и сделано примечание о первом единичном столбце матрицы Х (что показано стрелками на рисунке, отражающем выдержку из страницы 48 книги):
В отношении рассматриваемой в настоящей статье модели и известным четырем парам значений х и y запишем уравнение регрессии в матричной форме:
Также на странице 50 данной книги Дж. Себера есть вывод формулы оценок вектора β (в рассматриваемом в настоящей статье случае вектор β состоит из оценок параметров a и b). Для того чтобы запомнить матричную формулу оценок регрессии, рекомендуется временно представить что Y, ε и X – одномерные переменные, β – одномерная константа. Далее, как и в нематричном случае, можно найти такую константу β, при которой функция квадрата ε достигает минимального значения.
Сначала намеренно приводится некорректная с точки зрения линейной алгебры запись для объяснения концепции:
Теперь следует преобразовать полученную формулу для обеспечения ее корректности с точки зрения линейной алгебры. Необходимо учитывать, что произведение неквадратных матриц Х и Х невозможно, но возможно произведение
По аналогичной причине следует заменить XY на
Корректная с точки зрения линейной алгебры формула имеет следующий вид:
Применим полученную формулу для обозначенных в начале статьи четырех пар наблюдений.
Все вычисления представлены достаточно подробно, но для упрощения отражения принципов умножения матриц на рисунке ниже линиями связи показано влияние сомножителей на элементы полученной матрицы
Крайний результат может быть записан общей формулой для n пар наблюдений:
Формула определителя (детерминанта, обозначаемого в литературе как «det») квадратной матрицы из двух строк и двух столбцов соответствует разности произведений элементов главной диагонали и побочной:
Применительно к известным четырем парам наблюдений запишем:
Не теряя корректности полученных выводов, заменив 4 на n, можно записать общую формулу МНК оценок в матричном виде:
Разделим и числитель и знаменатель формулы оценки параметра a на число (-n):
Из проведенных преобразований следует, что формула оценки параметра «a», полученная с помощью применения матричного метода, полностью соответствует формуле оценки, полученной в рамках нематричного метода.
Разделим и числитель и знаменатель формулы оценки параметра b на число, равное квадрату числа пар наблюдений (n), взятому со знаком "-":
Из проведенных преобразований следует, что формула оценки параметра b, полученная с помощью применения матричного метода, полностью соответствует формуле оценки, полученной в рамках нематричного метода.
В случае с одним регрессором объем математических преобразований в матричном подходе выглядит более сложно, нежели вывод формулы без применения матриц. Тем не менее, объем вычислений без матриц при увеличении числа регрессоров будет выше в рамках нематричного подхода. Поэтому главная формула регрессионного анализа
находит широкое применение, а алгоритм ее матричного расчета реализован во всех современных программах, от пакета «Анализ данных» (инструмент «регрессия») Microsoft Excel, до известных библиотек языков Python и R.
Как в литературе по математической статистике увязываются матричный и нематричный подход?
В Таблице №2, приведенной ниже, отражен результат сравнения учебников о математической статистике, в которых отражены различные аспекты применения матричного подхода к определению МНК оценок.
Таблица №2
Из таблицы следует, что лишь немногие учебники содержат все рассмотренные в настоящей статье выводы, связанные с матричным и нематричным подходами к оценке параметров уравнений линейной регрессии. Отсутствие простых и понятных примеров применения матричного и нематричного подходов к определению МНК оценок коэффициентов регрессии ведет к «психологическому отторжению» матричных формул и невозможности применения ряда полезных методов, легко реализуемых даже в Microsoft Excel (матричные формулы «МУМНОЖ», «МОБР», «ТРАНСП» и т.д.).
Произведенный выше вывод оценок коэффициентов делает главную формулу линейного регрессионного анализа
понятнее и позволит вам применять на практике более сложные матричные формулы для ОМНК, взвешенного МНК, рекурсивного МНК, а также стандартных ошибок оценок коэффициентов регрессии.
Очень надеюсь, что данная статья была полезной для Вас.
Леонид Краснощеков