В предыдущей части было рассмотрен этап построения прогнозной модели для проведения исследования. Следующий этап работы дата сайентиста — оценка модели.
Оценка модели
идет рука об руку с построением модели. Эти этапы выполняются итеративно во время разработки и до её развертывания. Оценка проверяет качество модели, её соответствие первоначальному запросу, а также отвечает на вопрос:
- действительно ли использованная модель даёт результат или её необходимо скорректировать?
Этап диагностики
нужен для проверки правильности работы модели. Если модель является прогнозной, то на этом этапе можно использовать дерево решений. Оно позволяет оценить, насколько результат согласован с первоначальным значением. Мы видим области, требующие корректировки.
Если у нас описательная модель, в которой даётся относительная оценка, то можно применить набор тестирования с заранее известными результатами. Модель может быть уточнена по мере необходимости.
Диагностика модели заключалась в настройке параметра относительной стоимость неправильной классификации результатов «да» и «нет».
Как показано в этой таблице, были построены четыре модели с четырьмя различными значениями относительной стоимости ошибочной классификации. Каждое значение этого параметра увеличивает чувствительность модели или уровень истинно положительных результатов при прогнозировании «да». При этом увеличивается частота ложно положительных результатов за счёт более низкой точности прогнозирования ложно отрицательных результатов.
Этап оценки статистической значимости
применяется, чтобы гарантировать правильную обработку и интерпретацию данных в модели, избежать ненужных повторов, ответить на вопрос, какая модель лучше?
С одной стороны, по бюджетным причинам вмешательство по снижению риска госпитализации с застойной сердечной недостаточностью не могло быть применено ко всем пациентам. К тому же, многие из них не нуждались в повторной госпитализации.
С другой стороны, это вмешательство не было бы эффективным для пациентов из группы высокого риска госпитализации.
Итак, как определить, какая модель была оптимальной?
Как видно на рисунке, оптимальной является модель, которая дает максимальное разделение между синей кривой ROC относительно красной базовой линии. Таким образом, модель №3 с относительной стоимостью ошибочной классификации 4 к 1 является лучшей из моделей.
ROC (англ. Receiver Operating Characteristic, рабочая характеристика приёмника) – это кривая, которая впервые была разработана во время Второй мировой войны для обнаружения вражеских самолетов на радаре. С тех пор кривая ROC используется во многих других областях. В частности, в машинном обучении и интеллектуальном анализе данных. Кривая ROC - полезный диагностический инструмент при определении оптимальной модели классификации.
Кривая ROC количественно определяет, насколько хорошо работает модель бинарной классификации, раскрывая результаты «да» и «нет» при изменении критерия относительной стоимости ошибочной классификации. Построение графика отношения истинно положительных результатов к ложно положительным для различных значений относительной стоимости ошибочной классификации, помогло в выборе оптимальной модели.
