Ошибка – мера оценки эффективности Модели (Model) Машинного обучения (ML).
Во времена огромного прогресса в области компьютерных наук и Искусственного интеллекта (AI) легко забыть, что по самой своей природе модели не идеальны. Одна из самых больших головных болей – это решить, насколько она точна.
Первый шаг – понять цену ошибок. Вы бы предпочли ошибиться, предположив истинность чего-либо, когда это не так, или не угадать вообще? Иногда может быть дешевле потерять клиента, чем потратить часы на его удержание. Такой вид анализа затрат и выгод будет информировать о методологии, используемой для определения вероятности ошибки.
Важность гипотезы
Самая важная часть моделирования начинается с содержательного вопроса. Инстинктивно мы формулируем вопрос как декларацию чего-то правдивого, например, «расстояние между креслами в самолетах сокращается». Однако лучшая статистическая практика – создать Нулевую гипотезу (Null Hypothesis), например, «расстояние между сиденьями осталось прежним», а затем попытаться доказать, что она неверна.
Это обеспечивает статистическую версию невиновности до тех пор, пока виновность не будет доказана, и может помочь устранить влияние случайности. Если нулевая гипотеза опровергается до статистически значимой степени, то рассматривается альтернативная гипотеза (Alternative Hypothesis), и тенденция авиакомпании к увеличению прибыльности теперь рассматривается как возможное, но не однозначное объяснение.
Важно отметить, что нулевая гипотеза НЕ является полной противоположностью альтернативной гипотезы, а скорее является подтверждением того, что причина наблюдений не просто случайность.
Вероятность и значения P
Вероятность предоставляет общий способ интерпретации статистической силы модели. Вызываемое Значением P (P Value), оно может находиться в диапазоне от 0 до 1 и представляет, насколько вероятно получение результата, если нулевая гипотеза (H0) верна. Это означает, что чем ниже значение, тем лучше показатель того, что альтернативная гипотеза (H1) действительно верна.
Пороговое значение для P-Value называется уровнем значимости. Если вероятность равна или меньше 0,05 (хотя в зависимости от варианта использования, который может измениться), результат часто считается значительным. Проще говоря, мы, вероятно, получим подтверждение нулевой гипотезы 5 раз из 100 (или, наоборот, подтвердим альтернативную гипотезу 95 раз из 100). Чем выше значение p, тем ближе к случайному совпадению и тем более вероятна нулевая
Измерение погрешности в задачах классификации
Классификационные проблемы обычно представляют собой двоичную идентификацию. Из любой классификационной модели можно выделить четыре типа результатов:
Давайте рассмотрим значения ячеек (истинно позитивные, ошибочно позитивные, ошибочно негативные, истинно негативные) с помощью "беременной" аналогии.
Истинно позитивное предсказание (True Positive, сокр. TP)Вы предсказали положительный результат, и женщина действительно беременна.
Истинно отрицательное предсказание (True Negative, TN)Вы предсказали отрицательный результат, и мужчина действительно не беременен.
Ошибочно положительное предсказание (ошибка типа I, False Positive, FN)Вы предсказали положительный результат (мужчина беременен), но на самом деле это не так.
Ошибочно отрицательное предсказание (ошибка типа II, False Negative, FN)Вы предсказали, что женщина не беременна, но на самом деле она беременна.
Погрешность рассчитывается по различным соотношениям и формулам на основе этих четырех состояний. Легко видеть, что в зависимости от стоимости типа I или типа II способ измерения ошибки может быть скорректирован.
Ошибка измерения
Чтобы понять, как работает модель, существует множество способов измерений. Матрица ошибок (Confusion Matrix) используется для представления нескольких типов измерений ошибок, чтобы специалист по данным может определить, хорошо работает модель или нет. Мы рассмотрим следующие типы ошибок:
- Доля истинно негативных классификаций (TNR)
- Точность (PPV)
- Доля истинно положительных классификаций (TPR)
- Критерий F (F1, F0.5, F2)
- Коэффициент корреляции Мэтью (MCC)
- Коэффициент детерминации (R Squared)
Фото: @redcharlie
Автор оригинальной статьи: Kendall Fortney
Понравилась статья? Поддержите нас, поделившись статьей в социальных сетях и подписавшись на канал. И попробуйте курс «Введение в Машинное обучение» на Udemy.