Создание моделей искусственного обучения (так называемое машинное обучение) обычно подразумевает под собой, что у нас есть какие-то правильные ответы в том или ином виде (например, результат или же сама стратегия) и мы сверяем это с выводом моделей. Попробуем разобраться, почему уже на этом шаге многие путаются в терминах и не перестают понимают :)
Рассмотрим базовые концепции для простых моделей, когда мы можем сказать, верно предсказано или нет:
- True (в переводе с англ правда, истина) - один верно предсказанный результат (возможно в ходе длинного эксперимента)
- False (в переводе с англ ложь, неправда) - неверно предсказанный результат.
Разберем случай, когда по итогам данных у нас должен быть какой-то вывод, например, на основе всех анализов у нас может быть вывод, больной человек или нет.
- Positive - в нашем примере означает, что человек действительно болен.
- Negative - человек здоров
В простейшем случае картина следующая: есть 4 типа результата:
Можно ввести общую точность, так называемую Accuracy, то есть долю правильных ответов. Тогда это будет выражаться следующим образом:
Данную метрику не очень любят ученые. Потом что тест, который всегда будет срабатывать - угадает всех больных, но будет абсолютно бесполезным. Поэтому надо вводить более продуманные метрики.
Теперь рассмотрим два понятия, которые позволяют оценить качество модели в более детальном аспекте - это precision (точность) и recall (полнота).
Precision - это доля правильных положительных прогнозов (True Positive) от общего числа положительных прогнозов (True Positive + False Positive). Иными словами, это мера того, насколько точно модель определяет положительные случаи. Например, если модель предсказала, что пациент болен (положительный прогноз), и это действительно так (истина), то это считается True Positive.
Recall - это доля правильных положительных прогнозов (True Positive) от общего числа положительных случаев (True Positive + False Negative). Это мера того, насколько полно модель находит положительные случаи. Например, если пациент действительно болен (истина), но модель не определила его как положительный случай (False Negative), то это снижает Recall.
Очевидно, что хорошая модель должна иметь как можно более высокие значения Precision и Recall. Однако эти метрики могут быть взаимозависимыми, и иногда повышение одной может снизить другую. Поэтому важно находить баланс между Precision и Recall в зависимости от конкретной задачи.
_____________________________________
Друзья, подписывайтесь и ставьте лайки :) Тогда я буду больше писать интересных вещей! Всем хорошего дня!