На Scoring Case Forum 2021 выступили Александр Бородин и Алиса Пугачева.
Презентация основывается на проектном опыте команды Advanced Analytics GlowByte Consulting. Александр и Алиса выделили тренды, которые могут усилить текущие бизнес-процессы, используемые для оценки рисков.
Пять основных трендов:
- Экстенсивный рост по используемым алгоритмам
- Горизонтальная экспансия ML в другие типы рисков
- Переход от дескриптивной и прогнозной аналитике к предписательной
- Преодоление барьера структурированных данных
- DE / AIE – новые парадигмы работы с данными и продуктивизацией моделей.
Часто разработанные сценарии «жестко» детерминированы и не адаптивны, что влечет потребность в валидации и аудите стратегий, и переобучать пороги, чтобы модель работала эффективнее.
На данном этапе подключается подход «Exploitation + exploration», функция которого заключается в том, что в стратегию подключается основной поток клиентов.
Другой вариант, когда exploration запускается в поток или набор клиентов, где возможно менять сценарий декларированно. В этом случае появляются новые возможности валидировать эффективность текущих сценариев и, в случае ухудшения работы сценария, можно обогатить историю для переобучения модели.
В случае если указанные эксперименты со сценариями невозможны или нужно быстро дать индикативную оценку, то на помощь может прийти причинно-следственный анализ (Causal Inference). Это возможность делать первичный аудит модели на исторических данных. Для этого в модели включается эффект воздействия, далее идет построение модели и применение на историческом сегменте. В модели есть возможность замены эффекта воздействия на противоположный, что дает оценить на каком объеме сегмента этот гипотетический эффект будет больше, чем фактический. Такая разница может стать мерой оценки неэффективности в моменте.
Оба метода базируются на синергии между эконометрикой и ML.
Благодаря A/B-тестированию выстраивается процесс управления продуктом и Causal Inference.
Другая потребность развить подход так, что бы ускорить оценку здоровья продукта. Пример: что событие APD пробились сквозь дефолт, срок вызревания один год. То есть, минимум один год нельзя сделать достоверный вывод о качестве рейтингования клиентов. Предвосхитить вывод можно с помощью инструментов, например: опережающие proxy-метрики, группа показателей или отдельная модель. Опережающие метрики могут выступать, как альтернативное целевое событие, и как маркер раннего оповещения, что с продуктом происходят серьезные изменения.
Использование методов увеличения чувствительности метрик: cuped, стратификация и другие, позволяет ускорить и удешевить процесс за счет уменьшения необходимого размера тестовых групп.
Модели принятия решений усложняют продукт и повышают KPI. Продукт обрастает дополнительными правилами и обязательствами. Появляются модели, которые с разных сторон описывают продукт и взаимодействие с пользователем, например: конверсия, выручка, вероятность дефолта, дебиторская задолженность.
С одной стороны, возникает потребность группировки моделей, которые принимают участие в принятии решений. С другой - переход от моделей, которые просто прогнозируют число, к моделям, которые могут принимать решения по продукту.
Примером группировки моделей, которые хорошо подходят для этого процесса, является подход NBA (Next Best Action). Он заключается в том, что оптимизирует выбор лучшего действия на основании значений целевой бизнес-метрики. Так, разным действиям можно присвоить какой-то уровень доверия.
Фреймворк можно использовать с разными целевыми показателями, такими как выручка или доходность. Возможно оптимизировать персональные предложения с учетом набора ограничений. Так можно увеличить конверсию, не теряя в доходности, учитывать потери при дефолте.
Модели и группы моделей подвержены тенденции усложнения, появляются какие-то новые нелинейные методы. Рано или поздно поступает запрос на внедрение таких моделей в отраслях. Такие методы уже используются, самыми распространенными на данный момент являются Shap и Lime, которые позволяют валидировать, интерпретировать или частично интерпретировать модели «черного ящика», за счет чего бизнес-валидация таких моделей упрощается.
Одним из последних трендов на рынке, который оказывает влияние на риск-модели, является группа сложных моделей, о которых говорили выше. Они инициируют модельный риск, который необходимо определить и необходимо управлять. Здесь возникает новое направление в моделировании - Model Convernance. Ответом на эту задачу является подход ModelOps/MLоps - методология управления модельным риском и жизненным циклом модели.
Итогом можно выделить: что сегодня много пространства для МL/DS-ускорения бизнеса. Это процесс весьма итеративный, и все предложенные методы могут использоваться как самостоятельно, так и в комбинации. Нужно учитывать, что требуется глобальное изменение бизнес-процесса при расширении применения ML/DS.