1. Логика логистической регрессии
1.2. Знакомство с логистической функцией
Мы выяснили, что обычная линейная регрессия с бинарной зависимой переменной сталкивается с рядом трудностей. На помощь нам приходят специальные регрессионные модели бинарного выбора. В рамках таких моделей мы строим модель вероятности того, что бинарная зависимая переменная примет значение 1 при заданных значениях независимых переменных. Для моделирования вероятности бинарной зависимой переменной подбирают специальную монотонно возрастающую функцию, которая может принимать значения только от 0 до 1. В качестве специальной функции в моделях бинарного выбора обычно используют либо логистическую функцию, либо функцию стандартного нормального распределения. Модель бинарного выбора на основе логистической функции называют логистической регрессией или логит-моделью. Модель бинарного выбора на основе функции стандартного нормального распределения называют пробит-регрессией или пробит-моделью. В этом модуле мы ограничимся логистической регрессией.
Как уже было сказано выше, в логистической регрессии для моделирования вероятности бинарной зависимой переменной мы подбираем специальную монотонно возрастающую логистическую функцию (логистический сигмоид). Она имеет вид y = 1 / (1 + exp(-x)), где x - это логит. Внимательно посмотрим на нее.
Мы сразу замечаем, что независимо от того, какое значение может принимать аргумент x (неограниченная область определения функции), сигмоид ограничен двумя горизонтальными асимптотами, к которым стремится при стремлении аргумента к ±∞ (получаем ограниченный диапазон значений функции). Обычно этими асимптотами являются y=0 в -∞ и y=1 в +∞. Наличие ограниченного диапазона вещественных чисел от 0 до 1 нужно нам для прогнозирования вероятности.
Мы видим, что наша функция симметрична относительно точки перегиба (x, y) = (0, 0.5), которая является серединой диапазона значений функции.
Это означает, что в дополнение к тому, что y ограничена вещественными числами от 0 до 1, значения y также будут симметрично распределены по обе стороны от точки перегиба. Это позволяет нам определить y=0.5 в качестве точки, в которой прогнозируемый класс меняется с 0 на 1 (или наоборот), и вероятность того, что наблюдение принадлежит классу 1 (положительному классу), составляет точно 50%. Эта средняя точка/точка перегиба будет решающей границей и будет использоваться для прогнозирования классов.
А еще мы видим, что единичное изменение по оси x вблизи «пола» и «потолка» приводит к меньшему изменению вероятности y, нежели единичное изменение по оси x посередине кривой.
Теперь нам предстоит выяснить, что представляет из себя логит, использующийся в уравнении логистической функции.