Матрица ошибок (Confusion Matrix) – это мощный инструмент для оценки качества классификатора, предоставляющий детальную информацию о его работе. На ее основе можно рассчитать различные метрики, характеризующие точность прогноза.
Матрица ошибок представляет собой таблицу, в которой строки соответствуют фактическим классам, а столбцы – предсказанным классам (или наоборот, в зависимости от реализации). Для бинарной классификации (два класса: положительный и отрицательный) матрица имеет вид:
1. Основы матрицы ошибок
- TP (True Positive): Количество правильно предсказанных положительных объектов.
- TN (True Negative): Количество правильно предсказанных отрицательных объектов.
- FP (False Positive): Количество неправильно предсказанных положительных объектов (ошибка первого рода). Также известна как “ложная тревога”.
- FN (False Negative): Количество неправильно предсказанных отрицательных объектов (ошибка второго рода).
2. Метрики точности прогноза, основанные на матрице ошибок:
На основе матрицы ошибок можно рассчитать следующие метрики:
- Accuracy (Точность): Общая доля правильных предсказаний.Accuracy = (TP + TN) / (TP + TN + FP + FN)Точность показывает, как часто классификатор правильно предсказывает классы. Это хорошая метрика, если классы сбалансированы (т.е. количество положительных и отрицательных объектов примерно одинаково).
- Precision (Точность, избирательность): Доля правильно предсказанных положительных объектов среди всех объектов, предсказанных как положительные.Precision = TP / (TP + FP)Точность показывает, как часто классификатор прав, когда он предсказывает положительный класс. Важна, когда цена ложно-положительных ошибок высока.
- Recall (Полнота, чувствительность): Доля правильно предсказанных положительных объектов среди всех фактических положительных объектов.Recall = TP / (TP + FN)Полнота показывает, как хорошо классификатор находит все положительные объекты. Важна, когда цена ложно-отрицательных ошибок высока.
- F1-score (F-мера): Гармоническое среднее между точностью и полнотой.F1-score = 2 * (Precision * Recall) / (Precision + Recall)F1-мера является сбалансированной метрикой, учитывающей как точность, так и полноту.
- Specificity (Специфичность): Доля правильно предсказанных отрицательных объектов среди всех фактических отрицательных объектов.Specificity = TN / (TN + FP)Специфичность показывает, как хорошо классификатор определяет отрицательные объекты.
- False Positive Rate (FPR, частота ложных срабатываний): Доля неправильно предсказанных положительных объектов среди всех фактических отрицательных объектов.FPR = FP / (TN + FP) = 1 - SpecificityFPR показывает, как часто классификатор ошибочно предсказывает положительный класс, когда на самом деле объект отрицательный.
- False Negative Rate (FNR, частота ложных пропусков): Доля неправильно предсказанных отрицательных объектов среди всех фактических положительных объектов.FNR = FN / (TP + FN) = 1 - RecallFNR показывает, как часто классификатор ошибочно предсказывает отрицательный класс, когда на самом деле объект положительный.
3. Выбор метрики
Выбор метрики зависит от конкретной задачи и цены различных типов ошибок.
- Сбалансированные классы, важна общая точность: Используйте Accuracy.
- Важно минимизировать ложно-положительные ошибки (FP): Используйте Precision. Например, в системе обнаружения спама важно не пометить важное письмо как спам.
- Важно минимизировать ложно-отрицательные ошибки (FN): Используйте Recall. Например, в медицинской диагностике важно не пропустить больного человека.
- Необходимо сбалансировать точность и полноту: Используйте F1-score.
- Несбалансированные классы: Accuracy может быть обманчивой. Рассмотрите использование Precision, Recall, F1-score, Specificity, FPR, FNR.
4. Матрица ошибок для мультиклассовой классификации
Для задач с более чем двумя классами матрица ошибок становится многомерной. Каждая строка соответствует фактическому классу, а каждый столбец – предсказанному классу.
Для каждого класса можно рассчитать Precision, Recall и F1-score, рассматривая этот класс как “положительный”, а все остальные классы как “отрицательные”.
Пример:
Предположим, у нас есть классификатор, который определяет, есть ли у человека болезнь (положительный класс) или нет (отрицательный класс). После тестирования классификатора мы получили следующие результаты:
- TP = 90
- TN = 95
- FP = 5
- FN = 10
Теперь рассчитаем метрики:
- Accuracy = (90 + 95) / (90 + 95 + 5 + 10) = 0.925 (92.5%)
- Precision = 90 / (90 + 5) = 0.947 (94.7%)
- Recall = 90 / (90 + 10) = 0.9 (90%)
- F1-score = 2 * (0.947 * 0.9) / (0.947 + 0.9) = 0.923 (92.3%)
Заключение
Матрица ошибок и метрики, основанные на ней, являются важными инструментами для оценки и сравнения различных классификаторов. Выбор правильной метрики зависит от конкретной задачи и цены различных типов ошибок. Всегда учитывайте контекст и особенности ваших данных при интерпретации результатов.