В кредитном секторе оценка и прогнозирование рисков являются неотъемлемыми компонентами успешного функционирования финансовых учреждений. Так, например, для того, чтобы иметь возможность прогнозировать дефолты используются модели рейтингования, где утвержденным в банке рейтингам соответствуют заемщики с опеределенным процентом вероятности дефолта. В предоставленной ниже таблице 1, худший рейтинг соответствует классу кредитоспособности 18 с вероятностью дефолта 100%, а лучший рейтинг – 1 классу с нулевой вероятностью дефолта.
Чтобы оценить селективность используемой модели рейтингования, а именно насколько хорошо модель дифференцирует заемщиков в соотстветсвующие классы используются различные статистические инструменты, среди которых CAP-кривая и коэффициент Джини являются наиболее популярными.
CAP-кривая (Cumulative Accuracy Profile) представляет собой инструмент для визуализации и оценки производительности модели оценки кредитного риска. Она отображает кумулятивное (накопленное) распределение дефолтных классов (некредитоспособных заемщиков) по относительной доле выборки в зависимости от выбранного порогового значения. CAP-кривая позволяет оценить, насколько хорошо модель разделяет заемщиков на кредитоспособных и некредитоспособных, а также предоставляет возможность сравнивать производительность разных моделей.
Ось x на CAP-кривой (рисунок 1) отображает кумулятивную долю всех случаев, упорядоченную порядке возрастания «хороших» классов рейтингов, начиная с «плохих» (самых рискованных классов) .
Ось y на CAP-кривой отображает кумулятивную долю некредитоспособных заемщиков (дефолтов), которые попадают в заданную долю выборки по оси x.
Максимальной селективностью обладает та CAP-кривая, которая не упорядочивает лишь 2% дефолтов соответствующим рейтинговым («плохим») классам. Однако, на практике принято ориентироваться не на идеальную CAP-кривую, а на предсказанную (прогнозируемую), с которой сравнивают актуальную (явную, текущую). Так можно сделать выводы, насколько хорошо предсказывает рейтинговая модель возникающие дефолты. На рисунке 1 мы видим голубой линией текущую кривую, которая лежит ниже предсказанной. Это означает, что в хороших классах (начиная с 5ого) доля дефолтов была выше прогноза, а в плохих рейтинговых классах доля дефолтов невысока относительно прогнозируемой доли.
Аналогично и с помощью коэффициента Джини (Gini coefficient) можно так же оценить селективность модели. Формула для нахождения Джини следующая: Gini=B/(A+B). Так же допустимо находить Джини и через коэффициент AUC (area under сurve): Gini = 2*AUC - 1 (рисунок 2).
Коэффициент Джини (Gini coefficient) — метрика качества, которая часто используется при оценке предсказательных моделей в задачах бинарной классификации в условиях сильной несбалансированности классов целевой переменной. Именно она широко применяется в задачах банковского кредитования, страхования и целевом маркетинге.
Как и в случае с оценкой CAP-кривой по ее идеальной кривой, которая способна правильно соотнести 98% дефолтов в соответствующие классы, так же принято считать, что чем ближе коэффициент Джини к единице, тем более эффективна модель в разделении заемщиков на категории кредитоспособности.
Однако, как и в случае с CAP-кривой, на практике текущее значение Джини коэффициента сравнивают не с идеальным значением, а с прогнозируемой величиной. И относительно того, насколько текущее реализованное значение близко к прогнозному, делают выводы об эффективности модели в упорядочивании заемщиков в классы кредитоспособности.
Но сравнить прогноз с полученной величиной зачастую не просто. Какие выводы мы можем сделать из значений, где прогноз составил 0.6, а текущая величина 0.75? Велико ли отклонение реализуемого Джини от прогноза, хороша ли наша модель? На помощь в ответе на эти вопросы придут доверительные интервалы, которые и сделают вывод о том, допустимо ли отклоняется наш коэффициент во времени от прогноза, нужно ли корректировать существующую модель или же она работает хорошо.
В каждом кредитной организации есть свои утвержденные стандарты - уровни доверительного интервала, в границах которых могут варьироваться значения. В данной статье я буду ориентироваться на 90% доверителньный интервал.
Итак, для расчетов интервалов доверия существует великое множество статистических методов. Мною было использовано так же несколько подходов, в статье я рассмотрю три наиболее распространенных, которые и дали наиболее правдоподобные результаты:
- Метод Вальда (Wald, 1939)
- Метод Вилсона (Wilson, 1927)
- Метод Hanley & McNeil (1982)
В первых двух формулах интервал строится для доли р, где р это кумулятивная (накопленная) доля дефолтов в классах от лучшего к худшему. Для этой доли и строится интервал доверия. И уже из полученных значений доверительных интервалов доли вычисляется верхняя и нижняя граница Джини коэффициента.
В третьей формуле интервал доверия строится для коэффициента AUC (для ознакомления с данным коэффициентов я прикрепляю ссылку), по которому затем вычисляется верхняя и нижняя граница доверительного интервала Джини.
Таким образом, мы получили представленные на рисунках 3 и 4 интервалы доверия для прогнозируемого коэфициента Джини, а именно границы в пределах которых полученный в заданном промежутке времене Джини может колебаться и все еще будет показывать хорошую селективность модели.
У данных методов есть свои особенности. Метод Вальда хоть и достаточно прост в расчетах, однако при небольших объемах выборки , или при значении р близкому к 1 или 0 дает неточные и зачастую неправдоподобные результаты. Метод Вилсона является асимметричным. А вот метод Hanley and McNeil возможно применить только для расчетов коэффициентов и он не может быть адаптирован для построения интервалов доверия к кривой CAP.
Итак, мы видим из вышепредставленных рисунков, что интервалы доверия по методу Hanley and McNeil выглядят наиболее симметричными относительно Джини коэффициента, так же отклонения интервалов доверия по методу Вальда минимальны от Hanley and McNeil, в то время как метод Вилсона реализует несимметричные интервалы, о чем было упомянуто выше.
Вернемся к уже сказанному, что для оценки селективности модели с помощью CAP-кривой, необходимо сравнивать текущую во времени кривую с прогнозируемой. Однако и тут нам нужно определить допустимые границы отклонений, а именно интервалы доверия к CAP-кривой. Важный нюанс - если в нашей оценке селективности за основу приняты 2 критерия – CAP-кривая и коэффициент Джини, то и статистические методы расчета интервалов доверия должны быть едины для двух названных критерией. Грубо говоря, если мы приняли за основу расчет доверительных интервалов для Джини по методу Hanley and McNeil, то считать интервалы для CAP-кривой по методу Вилсона мы уже не можем . Так как метод Hanley and McNeil применим только для коэффициентов и не может быть адаптирован для кривой, то данным метод нам уже не подходит. .Построить интервал доверия для CAP-кривой возможно только с помощью метода Вальда и Вилсона, что и было визуализировано на рисунках 5 и 6.
Итак, мы видим, что интервалы доверия , как и ожидаемо , по методу Вальда выглядят абсолютно симметричными, что является в конкретном случае предпочтительным. Поэтому за основу был взят именно данный метод расчета интервалов доверия как для коэффициента Джини так и для CAP-кривой.
Спасибо за внимание!