СПРАВКА О РИСКАХ И УГРОЗАХ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Ассоциация руководителей служб информационной безопасности совместно с экспертами по информационной безопасности (ИБ) провела анализ рисков и угроз при использовании технологий искусственного интеллекта (ИИ) и пришла к следующим выводам.

В последние 2-3 года технологии ИИ развиваются настолько быстрыми темпами, что их поспешная или некорректная разработка, а также недостаточное тестирование могут привести к тому, что соответствующие модели ИИ не будут обладать свойствами недопущения «выдумки» (confabulation), «объяснимости», «интерпретируемости», «корректности» и др. Это означает, что результаты их работы могут быть некорректными или неожиданными. Это обусловлено, прежде всего, следующими причинами:

1. Завышенные ожидания от внедрения ИИ на начальном этапе его развития.
2. Как следствие п. 1 вывод на рынок «сырых» продуктов, т.е. не в полной мере выполняющих свои основные функции или содержащих ошибки.
3. Фрагментарное понимание сущности ИИ, в т.ч. его уязвимостей и особенностей применения.

Необходимо понимать, что ИИ – это, прежде всего, математический и технологический инструмент. И относиться к ИИ следует не как к популистскому тренду, что во многом имеет место, а как к научному направлению, которое имеет практическое применение в различных областях реального мира (киберфизических системах). Однако переоценивать ИИ тоже не стоит. Более того, существует термин «техношовинизм» – «это слепая вера в то, что технологии являются ответом на все вопросы» (Мередит Бруссард. «Искусственный интеллект. Пределы возможного», 2020 г.). В книге утверждается, что всеобщий энтузиазм по поводу применения компьютерных технологий уже привел к огромному количеству недоработанных решений в области проектирования цифровых систем. Только понимая пределы компьютерных технологий, мы сможем распорядиться ими так, чтобы сделать мир лучше.

ИИ необходимо рассматривать в свете документа «Национальная стратегия развития искусственного интеллекта на период до 2030 года» (далее – Стратегия) (утверждена Указом Президента Российской Федерации от 10.10.2019 № 490 в ред. Указа Президента Российской Федерации от 15.02.2024 № 124), включая определения (п. 5).

Применение ИИ злоумышленниками и структурами недружественных России государств отмечается уже несколько лет, и нередко достаточно успешно. При этом «интеллект» атак неуклонно возрастает. Об этом говорят проведенные, в т.ч. и в России, исследования[1]. Разработка математически обоснованных методик и инструментов ИИ для обеспечения требуемого уровня ИБ – задача, которую необходимо решать уже сейчас.

В 2024 г. Национальный институт стандартов и технологий США (NIST) опубликовал ряд руководств по обеспечению корректного, надежного, безопасного, без вредных предубеждений, объяснимого и интерпретируемого ИИ, эта работа продолжается и в настоящее время. Также Массачусетский институт технологий США ведет базу данных таксономий рисков ИИ[2], содержащую более 1.600 рисков, классифицированных по 65 категориям.

При анализе тенденций развития и рисков ИИ возникают следующие вопросы:

1. Может ли ИИ способствовать развитию Российской Федерации?
2. Может ли ИИ обеспечить безопасность Российской Федерации и самому себе?
3. Может ли ИИ причинить вред или нанести ущерб Российской Федерации?

Если ответы на эти вопросы «да», о чем говорят как принятые в Российской Федерации документы, так и ряд экспертов, тогда необходимо четко сформулировать ответ на вопрос «Как?». В частности ответить на этот вопрос призван созданный в мае 2024 г. Консорциум для исследований безопасности технологий искусственного интеллекта[3] (далее Консорциум). Представляется целесообразным присоединение АРСИБ к Консорциуму.

Однако для решения более практических задач, таких, как инициализация и сопровождение проектов в части, касающейся объяснимого и интерпретируемого ИИ, представляется целесообразным создание отдельного государственного органа или организации. Такие гос. органы уже есть во многих технологически ведущих странах, развивающих ИИ. Основной задачей этого государственного органа стали бы разработка стандартов и правил разработки объяснимого и интерпретируемого ИИ и обеспечения его безопасности, методик и процедур их применения на практике, а также теоретические исследования.

Аналогом такого органа или организации может служить американская некоммерческая организация MITRE, «мозговой центр», занимающийся исследованиями, разработкой рекомендаций и руководств в области высоких технологий, включая информационные технологии, ИИ и ИБ.

Другими аналогами в части общей проблематики ИБ могут являться следующие структуры:

1. Национальное агентство по безопасности информационных систем (Agencenationaledelasécurité dessystèmesd'information, ANSSI), Франция[4].
2. Национальный центр кибербезопасности Великобритании (National Cybersecurity Center, NCSC)[5].
3. Национальный центр киберзащиты (Nationales Cyber-Abwehrzentrum), Германия[6].

Кроме того, в мае 2024 г. под эгидой NIST создан Институт безопасности ИИ (Artificial Intelligence SafetyInstitute, AISI)[7]. Его основная задача – развитие науки, практик и внедрение безопасности ИИ по всему спектру рисков, в т.ч. связанных с национальной и общественной безопасностью, а также правами личности.

Обеспечение безопасности ИИ необходимо рассматривать как часть более общей задачи – обеспечение ИБ Российской Федерации. Можно выделить 2 стороны соответствия между ИИ и ИБ:

1. Необходимо обеспечивать ИБ в ИИ для предотвращения ошибочного или вредоносного воздействия ИИ.
2. ИИ может способствовать усилению ИБ по многим направлениям (статистический анализ событий ИБ, анализ причинно-следственных связей между событиями ИБ и др.).

Таким образом, развитие отечественного ИИ должно осуществляться в тесной связке с ИБ по этим двум направлениям. Перечисленные задачи в настоящее время становятся все более актуальными.

По мнению журнала Forbes[8]«…если 2023-й был преисполнен ожиданий и надежд, то год 2024-й еще раз напомнил всем, в том числе бизнесу и инвесторам, о том, что есть хайп и есть фундаментальная технология – и эти вещи необходимо разделять».

ИИ может принести пользу и облегчить труд на многих направлениях общественной и производственной деятельности Российской Федерации. Но также (умышленно) вредоносный, ошибочный или некорректно примененный ИИ может причинить вред или нанести значительный ущерб. При этом существенно изменятся функции и требуемые навыки администраторов ИБ на местах – многие функции возьмет на себя ИИ, однако «интеллект» и квалификация администраторов ИБ должны возрасти, чтобы понимать результаты ИИ. Направления и степень этих изменений будут зависеть от направлений развития ИИ.

В частности:

1. «Классические» средства ИБ (межсетевые экраны, СЗИ от НСД и др.) предназначены для изоляции (защиты) технологических процессов и информации от угроз и воздействия. В то же время подход ИБ с ИИ подразумевает встраивание системы защиты в общую информационную инфраструктуру организации.
2. ИИ для ИБ позволяет исключить человека из многих технологических процессов, нивелируя тем самым «человеческий фактор» и выполняя действия, которые человеку выполнить затруднительно в определенное время и с необходимым качеством. Пример – системы SIEM- (Security Information and EventManagement).
3. ИИ позволяет собирать, обрабатывать и анализировать информацию на основе больших, разнородных, распределенных и мультимодальных данных, причем быстро. Примеры – SOC (Security Operation Center) и применение ИИ для борьбы с фейками. Это особенно важно для военной области и контрразведки.

Практические риски для бизнеса и государства:

1. Утечка конфиденциальной информации через использование публичных больших языковых моделей: сотрудники могут непреднамеренно раскрывать конфиденциальные данные при работе с внешними сервисами ИИ.
2. Подмена результатов анализа в автоматизированных СЗИ, использующих ИИ, что может привести к фальсификации отчетности и сокрытию атак.
3. Зависимость от зарубежных платформ ИИ, что несет риски технологического давления и угрозу национальному суверенитету в критических областях.

Однако ИИ – это не только, даже не столько математический и технологический инструмент. ИИ – это «научное направление, которое занимается имитацией и усилением познавательной деятельности и рационального поведения человека посредством компьютерных систем»[9]. Кроме того, требуют научного и практического описания такие понятия ИИ как «предвзятость», «выдумка», «объяснимость» и «интерпретируемость». Без этого многие результаты деятельности ИИ могут оказаться под вопросом. Таким образом, возникает необходимость создания и развития теории ИИ. Предпосылки и наработки в этом направлении уже есть. Это может являться еще одним направлением деятельности Консорциума.

В мировом масштабе в настоящее время на развитие ИИ существенное воздействие, в т.ч. в общественном восприятии, оказывают такие факторы как развитие ИИ в США, возможно, вредоносного. Так, согласно Заключительному отчету Комиссии национальной безопасности по искусственному интеллекту (февраль 2021 г.)[10]: «Министерство обороны (DoD) должно… достичь состояния готовности военного искусственного интеллекта к 2025 году». Другим фактором являются достижения КНР в области ИИ, что, по мнению США, представляет угрозу для глобальной безопасности, особенно для США и западных стран[11].

При этом масштаб деятельности недружественных России государств в области ИИ, включая, возможно, умышленно вредоносный, является угрозой национальной безопасности Российской Федерации. Это факт, и он требует интенсификации развития научных, технических и организационных мер, а также координации их взаимного развития как единого комплекса.

Мы в ВК: https://vk.com/vkaciso

Наш сайт: aciso.ru

Ставьте лайк и подписывайтесь на нашу страницу в АРСИБ Яндекс.Дзен и будьте в курсе актуальной информации в сфере информационной безопасности!