20 подписчиков
🔍 MITRE ATLAS: карта угроз ML моделей
🚨 Машинное обучение (ML) стало неотъемлемой частью многих современных приложений, но вместе с ростом его значимости увеличиваются и угрозы. MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) — матрица угроз, разработанная для анализа и документирования атак на системы искусственного интеллекта и модели машинного обучения.
💥 Распространенные этапы атак на ML-модели:
1. Повышение привилегий: Злоумышленники стараются получить доступ с более высокими привилегиями, чтобы управлять системой и влиять на работу ML-моделей.
2. Обход защит: Используются техники для обхода существующих мер безопасности, что позволяет оставаться незамеченным.
3. Доступ к учетным данным: Получение и использование учетных данных для доступа к моделям и их эксплуатации.
4. Разведка: Сбор информации о модели и системе, в которой она работает, для дальнейших атак.
5. Сбор данных: Захват и сбор данных, которые могут использоваться для манипуляций или других атак.
6. Атаки на модели ML: Внесение изменений или манипуляции моделью, что может привести к неправильным результатам или ее неработоспособности.
7. Эксфильтрация данных: Вывод конфиденциальной информации из системы.
8. Воздействие: Нарушение работы модели или компрометация данных.
🎯 Доступ к моделям ML:
Злоумышленники могут получить доступ к моделям через:
- Взлом системы, где размещена модель (например, через API).
- Доступ к физической среде, где происходит сбор данных.
- Взаимодействие с сервисом, который использует модель.
⚠️ Целью таких атак является сбор информации о модели, разработка атак и манипуляция работой модели путем внедрения некорректных данных.
⚙ MITRE ATLAS предлагает структуру, которая помогает исследователям и специалистам по кибербезопасности лучше понять, как противодействовать угрозам, направленным на ИИ и ML модели.
🔗 Для более глубокого изучения темы и получения дополнительных деталей рекомендуем ознакомиться со статьей по ссылке.
#Кибербезопасность #SecureTechTalks #MachineLearning #MITRE #ATTACK #ИскусственныйИнтеллект #ИнформационнаяБезопасность #AI
1 минута
27 августа 2024