В последние 2-3 года технологии искусственного интеллекта (ИИ) развиваются настолько быстрыми темпами, что могут принять неуправляемый характер. Это обусловлено, прежде всего, следующими причинами:
- Завышенные ожидания от внедрения ИИ на начальном этапе его развития.
- Как следствие п. 1 – вывод на рынок «сырых» продуктов, т.е. не в полной мере выполняющих свои основные функции или содержащих ошибки.
Необходимо понимать, что ИИ – это математический и технический инструмент. И относиться к ИИ следует не как к популистскому тренду, что во многом имеет место, а как к разделу прикладной математики, который имеет практическое применение в различных областях реального мира (киберфизических системах). Рассматривать ИИ следует в свете документа «Национальная стратегия развития искусственного интеллекта на период до 2030 года» (утверждена Указом Президента Российской Федерации от 10.10.2019 № 490 в ред. Указа Президента Российской Федерации от 15.02.2024 № 124), включая определения (п. 5).
Применение ИИ злоумышленниками и структурами недружественных России государств отмечается уже несколько лет, и нередко достаточно успешно. При этом «интеллект» атак неуклонно возрастает. Об этом говорит, например, исследование российской компании Positive Technologies. Разработка математических методик и инструментов ИИ для обеспечения требуемого уровня информационной безопасности (ИБ) – задача, которую необходимо решать уже сейчас.
В 2024 г. Национальный институт стандартов и технологий США (NIST) опубликовал ряд руководств по обеспечению доверенного (надежного, безопасного) ИИ, некоторые из которых представлены как проекты. Эти руководства разработаны во исполнение Указа Президента США от 30.10.2023 «О безопасной, надежной и заслуживающей доверия разработке и использовании искусственного интеллекта» (20.01.2025 отменен и 23.01.2025 издан новый). Также Массачусетский институт технологий США ведет базу данных таксономий рисков ИИ, содержащую более 1.000 рисков, классифицированных по 56 категориям.
Другим «мозговым центром», занимающимся исследованиями, разработкой рекомендаций и руководств в области высоких технологий, включая информационные технологии, информационную безопасность (ИБ) и ИИ, является американская некоммерческая организация MITRE. В частности, по запросу NIST в MITRE провели анализ и подготовили предложения по комплексной реализации требований Указа Президента США от 30.10.2023. Эти предложения включают разработку стандартов, инструментариев, методов и практик управления искусственным информационным наполнением, в т.ч. потенциально вредоносным. Фактически, отчет MITRE на запрос NIST представляет собой краткий, но всесторонний и комплексный план действий по реализации доверенного ИИ в США.
Тенденции 2025 года: AI-агенты на базе LLM
Одной из ключевых тенденций 2025 года стало активное развитие и внедрение AI-агентов, основанных на больших языковых моделях (LLM). Эти агенты находят применение в автоматизации бизнес-процессов, интеллектуальных помощниках, анализе данных и принятию решений. Однако их массовое распространение несет за собой новые вызовы и специфичные угрозы, включая:
- Злоупотребление AI-агентами в кибератаках – автоматизированные фишинговые атаки, манипуляции с информацией и генерация правдоподобного вредоносного контента.
- Эскалация атак на LLM – атаки на встраиваемые модели, внедрение вредоносных инструкций, атакующие jailbreak-техники, которые обходят защитные механизмы LLM.
- Непрозрачность решений и отсутствие аудита – сложность отслеживания решений AI-агентов и их подверженность ошибкам или предвзятости.
- Риски утечек данных – AI-агенты могут неявно передавать конфиденциальную информацию, что делает их уязвимыми для атак, основанных на извлечении данных.
Для минимизации этих рисков разрабатываются новые методы защиты, включая расширенные механизмы мониторинга взаимодействий AI-агентов, внедрение строгих политик управления доступом и адаптацию существующих стандартов безопасности, таких как OWASP Top 10 for LLM Applications и MITRE ATLAS.
Взаимосвязь ИИ и ИБ
Безопасность ИИ необходимо рассматривать в тесной связке с ИБ. Можно выделить две ключевые области:
- Обеспечение ИБ в ИИ для предотвращения ошибочного или вредоносного воздействия ИИ.
- Использование ИИ для усиления ИБ (например, анализ причинно-следственных связей между событиями ИБ, обнаружение аномалий).
Эти нюансы ИИ уже рассматривались коллегами:
Также интерес представляют российские стандарты ГОСТ Р 59276-2020, ГОСТ Р 59277-2020, ГОСТ Р 70889-1023, ГОСТ Р ИСО/МЭК 42001-2024 и ПНСТ-848-2023.
По мнению журнала Forbes, если 2023-й был преисполнен ожиданий и надежд, то год 2024-й напомнил о необходимости разделять хайп и фундаментальную технологию. В 2025 году ожидается переход к эре доверенного (надежного, безопасного) ИИ, с особым вниманием к рискам, связанным с AI-агентами и их интеграцией в критически важные системы.
Сведения об авторе: Александр Першин, выпускник 4-го (технического) ф-та Высшей школы КГБ СССР. Практический стаж в ИБ с сентября 1988 г. Соавтор 1-й в современной России книги по ИБ: В. Гайкович, А. Першин, «Безопасность электронных банковских систем», 1994. Член АРСИБ с 2011 г. Диплом CISSP в 2006 г.
Мы в ВК: https://vk.com/vkaciso
Наш сайт: aciso.ru
Ставьте лайк и подписывайтесь на нашу страницу в АРСИБ Яндекс.Дзен и будьте в курсе актуальной информации в сфере информационной безопасности!