Кривая ошибок (ROC) и площадь под ней: как описать диагностический разбор без лишних обещаний
Когда оцениваете диагностический признак или модель «болен / не болен», одного уровня значимости мало. Нужны чувствительность, специфичность и часто — площадь под кривой ошибок. Ниже — как сформулировать для рукописи.
Зачем кривая ошибок врачу-исследователю
Две группы исхода (есть событие / нет), признак — непрерывный или порядковый балл: нужно понять, насколько хорошо порог разделяет классы. Это не графики ради графиков, а стандартный язык диагностических статей и диссертаций.
Чувствительность и специфичность
Чувствительность — доля верно найденных «больных» среди всех больных. Специфичность — доля верно найденных «здоровых» среди всех здоровых. Обе зависят от выбранного порога: сдвинули порог — сдвинулись и цифры.
Что такое кривая ошибок
По осям — чувствительность и (1 − специфичность) при разных порогах. Одна точка порога — не вся история; кривая показывает компромисс между ложными отрицательными и ложными положительными.
Площадь под кривой
Площадь под кривой — сводка, насколько в среднем признак выше у одного класса, чем у другого. Площадь под кривой ≈ 0,5 — как монета; ближе к 1 — лучше разделение на этих данных. Площадь под кривой не равна клинической пользе и не обещает «точность диагноза» без контекста когорты и референса.
Готовая формулировка для рукописи
«Диагностическую способность показателя [признак] в отношении [исход / референс] оценивали с помощью анализа кривой ошибок. Рассчитывали площадь под кривой. Для порога [порог / метод выбора порога] указывали чувствительность и специфичность. Результаты: площадь под кривой = […], [95% ДИ — если считали]; чувствительность = […], специфичность = […] при выбранном пороге.»
Типичные ловушки
1) Подгонка порога на тех же данных без проверки.
2) Площадь под кривой без описания когорт и референса.
3) Сравнение площади под кривой без заранее заложенного плана.
4) Перенос «хорошей площади под кривой» на другую популяцию без оговорок.
5) Путать площадь под кривой с величиной клинического эффекта.
1 минута
2 октября