Год назад Amazon представило матрицу Generative AI Security Scoping Matrix. Матрица является фреймворком и позволяет определить области безопасности для обеспечения надлежащей обработки и защиты данных при различных вариантах использования искусственного интеллекта.
Для меня это пока самое простое из изученных и разложенное по полочкам введение в безопасность генеративных моделей. Рассматриваются близкие и понятные любому руководителю информационной безопасности домены и меры защиты, а не, например, изменение цикла безопасной разработки DevSecOps.
Модель предлагает определиться кем организация является относительно ИИ - пользователем (Buy) или разработчиком (Build) и какой кейс использования модели:
- Пользовательское приложение (Scope 1: Consumer app): обычное использование общедоступных сервисов и чат-ботов.
- Корпоративное приложение (Scope 2: Enterprise app): использование корпоративных приложений или облачных сервисов с встроенными функциями искусственного интеллекта.
- Предварительно обученные модели (Scope 3: Pre-trained models): разработка собственных приложений на базе готовой модели.
- Дообученные модели (Scope 4: Fine-tuned models): точная настройка модели на основе данных компании.
- Самообучаемые модели (Scope 5: Self-trained models): обучение собственной модели с нуля с использованием данных компании.
Для каждого варианта использования определяются пять доменов, которые необходимо учесть в стратегии ИБ:
- Управление и соответствие требованиям (Governance and compliance) – политики, процедуры и отчетность, необходимые для минимизации рисков при использовании генеративного ИИ.
- Законодательство и безопасность персональных данных (Legal and privacy) – конкретные нормативные, юридические требования и требования к ПДн.
- Управление рисками (Risk management) – выявление потенциальных угроз и рекомендуемых компенсирующих мер, в том числе моделирование угроз с отсылкой к OWASP TOP 10, MITRE ATLAS.
- Меры (Controls) – реализация средств защиты, которые используются для снижения рисков.
- Киберустойчивость (Resilience) – поддержание доступности генеративного ИИ и соблюдения SLA для бизнеса.
Под Scope 1 (Пользовательское приложение) и Scope 2 (Корпоративное приложение) попадает почти любая организация. Сотрудники точно используют чат-ботов и им этого не запретить, и как минимум в ИБ-продуктах уже есть ML с доступом к данным компании. Презентация хорошо рассказывает, что нужно уже сейчас учесть в политиках и управлении ИБ.