В последние годы бурное развитие инновационных технологий, например, искусственного интеллекта (ИИ), оказало большое влияние на мировую финансовую индустрию.
Однако феномен "черного ящика" в моделях искусственного интеллекта также привлек внимание многих международных правительственных учреждений и органов финансового регулирования. Феномен "черного ящика" моделей ИИ заключается в том, что модели ИИ чрезвычайно сложны и не могут быть интерпретированы. И их всегда рассматриваются как "черный ящик". Некоторые учреждения подчеркивают важность обеспечения возможности интерпретации моделей при применении искусственного интеллекта в финансовой сфере.
Например, в докладе Big Data Meets Artificial Intelligence-Challenges and Implications for the Regulation of Financial Services БаФин указал, что предварительным условием применения ИИ в финансовой сфере является наличие у финансовых учреждений, таких как банки, некоторых методов, позволяющих определить, как работают модели ИИ и почему принимаются решения (т.е. интерпретация моделей), что не позволяет рассматривать модели в качестве чисто черного ящика.
Оценка рисков
Совет по финансовой стабильности (СФС) опубликовал доклад "Искусственный интеллект и машинное обучение в финансовых службах": События на рынке и последствия для финансовой стабильности в ноябре 2017 года и отметили, что искусственный интеллект и машинное обучение, вероятно, создадут много проблем для финансовой стабильности. В частности, модели искусственного интеллекта и алгоритмы машинного обучения чрезвычайно сложны и, как правило, лишены способности к интерпретации. Пользователям трудно понять, как эти приложения повлияют на рынок. Они могут привести к неожиданным потрясениям для финансовой стабильности и даже к систематическим рискам. На данном этапе, на основе тщательной и реальной оценки рисков ИИ и машинного обучения в отношении конфиденциальности данных, сетевой безопасности и т.д., следует постоянно совершенствовать интерпретацию моделей ИИ и усилить надзор за их применением и машинное обучение в финансовой области.
Органы финансового регулирования Китая обращались с аналогичными просьбами. В апреле 2018 года Народный банк Китая (НБНК), Китайская комиссия по регулированию банковской и страховой деятельности (КБИРС), Китайская комиссия по регулированию рынка ценных бумаг (ККОЦБ) и Государственное управление по регулированию валютных операций (ГУИБ) совместно издали Руководство по регулированию деятельности финансовых учреждений в области управления активами. Они отметил, что финансовые учреждения должны отчитываться перед органами финансового регулирования об основных параметрах моделей ПУ и логике распределения активов. Кроме того, финансовые учреждения должны не только создавать для инвесторов специальные счета интеллектуального управления инвестициями, но и в полной мере оперативно реагировать на присущие алгоритмам искусственного интеллекта недостатки и риски. Так же, они должны четко знать процесс совершения сделок и контролировать торговые позиции интеллектуальных счетов управления инвестициями.
В Китайской комиссии по регулированию банковской и страховой деятельности также указали, что когда финансовые учреждения используют интеллектуальные системы для предоставления рекомендаций по разумному управлению инвестициями, аналогичные показатели риска и торговые стратегии могут привести к одновременному возникновению явления покупки и продажи, что приведет к росту и падению цен, усугубляя тем самым колебания рынка. В соответствии с классификацией Fintech Базельского комитета по банковскому надзору, т.е. платежей, депозитов и кредитов, управления инвестициями и рыночных механизмов, регулирующие органы должны сосредоточиться на раскрытии информации и защите инвесторов при разумном управлении инвестициями, т.е. на возможности интерпретации моделей.
Таким образом, с точки зрения регулирующих органов, освоение внутреннего механизма моделей искусственного интеллекта, применяемых финансовыми учреждениями, позволяет лучше защищать права и интересы потребителей, что способствует устранению дискриминационных факторов при разработке моделей. Кроме того, интерпретация моделей ИИ, применяемых финансовыми учреждениями, позволяет регуляторам контролировать финансовые риски и поддерживать стабильность финансового рынка.
Когда модели искусственного интеллекта применяются в финансовой сфере, если модели не полностью понятны при принятии бизнес-решений, пользователи могут постепенно становиться безразличными к рискам. Например, когда модели искусственного интеллекта применяются для управления рисками при предкредитной оценке, если вероятность дефолта клиента прогнозируется без понимания внутреннего механизма моделей, могут быть даны неверные кредитные рейтинги.
В бизнесе по управлению активами, традиционным способом, например, с помощью технического анализа или фундаментального анализа, инвесторы смогут узнать каждую деталь процесса принятия решений. Однако при использовании моделей искусственного интеллекта, т.е. интеллектуальных инвестиций, модели могут дать аналогичные советы большому количеству инвесторов. Если инвесторы не понимают причин, лежащих в основе рекомендаций моделей, может произойти одновременная покупка и продажа, что увеличивает единый финансовый риск. Таким образом, интерпретируемость модели стала основным препятствием для применения ИУ в финансовой сфере.
Исследования, проведенные Международным институтом китайского строительного банка в 2018 году, показали, что применение искусственного интеллекта в финансовой сфере имеет большой дисбаланс Он применяется гораздо чаще в управлении кредитами и активами, чем в предоставлении информации, платежах и других видах деятельности. Исследования показали, что одним из многих факторов, ограничивающих сбалансированное применение ИИ в финансовой сфере, является то, что при применении модели ИИ внутренний механизм модели не понимается, т.е. модель не может быть интерпретирована.
Ученые ищут причину, по которой модели искусственного интеллекта нельзя интерпретировать в разделе. Так же формально определят модель интерпретируемости. Рассматривая соответствующую работу по интерпретации моделей искусственного интеллекта и представят свои заключения в следующих статьях.