ROC-кривая - это детальный график, отражающий все возможные сочетания чувствительности и специфичности инструмента. Этот график по сути показывает эффективность работы инструмента как классификатора при любых «настройках» в сравнении с двумя крайностями: идеальным, безошибочным инструментом (заведомо недостижимым) и совершенно случайным принятием решений.
Главной закономерностью, которая проступает при таком подходе к анализу данных, является обратная зависимость чувствительности и специфичности инструмента: чем выше один параметр, тем, соответственно, ниже будет другой. Оптимальное значение планки отсева для каждого инструмента будет соответствовать той точке на его графике, которая будет лежать ближе всего к левому верхнему углу (то есть идеальному классификатору) или, что то же самое, дальше всего от диагонали «случайного выбора». Проводя такие экспериментальные исследования и сравнивая между собой разные инструменты и методы оценки, нетрудно увидеть, что в некоторых случаях общее качество и точность отбора могут быть заметно увеличены буквально за счет смещения планки отсева – или, напротив, изменение планки отсева уже не даст ощутимой выгоды, и единственным рабочим решением остается замена инструмента.
Источник: