7. Логистическая регрессия или, как решить задачу классификации в МО

Немного математики

Классификация в математике — это распределение предметов на группы (классы) по каким-нибудь отличительным признакам.

Да, и в других дисциплинах тоже.

Логистическая функция в математике — это общая сигмоидальная (S-образная) кривая. Она моделирует кривую роста вероятности некоего события по мере изменения управляющих параметров (факторов риска).

Бинарная задача классификация, где класса всего два - 0 и 1.

Простейшая логистическая функция может быть описана формулой P(t) = 1 / (1 + e^{-t}), где переменную P можно рассматривать как численность населения, а переменную t — как время.

Начальная стадия роста логистической кривой приблизительно соответствует экспоненте (показательная функция). Затем, по мере насыщения, рост замедляется, проходит линейную фазу и, наконец, в зрелом периоде практически останавливается.

Логистическая функция находит применение в обширном диапазоне областей знания, включая искусственные нейронные сети, биологию, биоматематику, экономику, химию, математическую психологию, вероятность и статистику.

Мы поместим ее в нашу линейную регрессию и рассчитаем функцию потерь

Также используем градиентный спуск

После обучения, нужно сравнить предсказание с неким порогом. Например, если оно меньше порога 0,5 - относится к 0, больше 0,5 - относим к 1.

А теперь для тренировки попробуйте ответить на вопрос = можно ли с помощью модели логистической регрессии классифицировать эти два примера:

Метрики классификации

можно построить матрицу

предлагаются такие метрики

Многоклассовая классификация

предположим у нас есть более сложная задача

обычно она сводится к бинарной

1 способ - один против всех

мы строим несколько классификаторов

2 способ - один против одного

где мы разбиваем на пары