Найти в Дзене

7. Логистическая регрессия или, как решить задачу классификации в МО

Оглавление

Немного математики

Классификация в математике — это распределение предметов на группы (классы) по каким-нибудь отличительным признакам.

Да, и в других дисциплинах тоже.

Логистическая функция в математике — это общая сигмоидальная (S-образная) кривая. Она моделирует кривую роста вероятности некоего события по мере изменения управляющих параметров (факторов риска).

Бинарная задача классификация, где класса всего два - 0 и 1.
Бинарная задача классификация, где класса всего два - 0 и 1.

Простейшая логистическая функция может быть описана формулой P(t) = 1 / (1 + e^{-t}), где переменную P можно рассматривать как численность населения, а переменную t — как время.

Начальная стадия роста логистической кривой приблизительно соответствует экспоненте (показательная функция). Затем, по мере насыщения, рост замедляется, проходит линейную фазу и, наконец, в зрелом периоде практически останавливается.

Логистическая функция находит применение в обширном диапазоне областей знания, включая искусственные нейронные сети, биологию, биоматематику, экономику, химию, математическую психологию, вероятность и статистику.

-3

Мы поместим ее в нашу линейную регрессию и рассчитаем функцию потерь

-4

Также используем градиентный спуск

-5

После обучения, нужно сравнить предсказание с неким порогом. Например, если оно меньше порога 0,5 - относится к 0, больше 0,5 - относим к 1.

-6

А теперь для тренировки попробуйте ответить на вопрос = можно ли с помощью модели логистической регрессии классифицировать эти два примера:

-7

Метрики классификации

можно построить матрицу

-8

предлагаются такие метрики

-9

Многоклассовая классификация

предположим у нас есть более сложная задача

-10

обычно она сводится к бинарной

1 способ - один против всех

-11

мы строим несколько классификаторов

2 способ - один против одного

где мы разбиваем на пары

-12
-13