14 подписчиков
🔍 Доклады конференции по кибербезопасности Black Hat 2024: Уязвимости и риски AI
⚠️ Уязвимость AI-ассистента Microsoft Copilot
Исследователь по безопасности Майкл Баргури и его коллега Авишай Эфрат выявили серьёзные уязвимости в Copilot Studio от Microsoft. Дыры безопасности могут позволить злоумышленникам взломать корпоративные сети и получить доступ к чувствительной информации. Основные проблемы связаны неправильными настройками по умолчанию, плагинами с повышенными привилегиями, а также ошибками проектирования интеграционных взаимодействий. Кроме того Баргури также продемонстрировал инструмент Copilot Hunter, способный сканировать общедоступные инсталляции Copilot и извлекать ценную информацию. По итогу докладов были представлены рекомендации по защите Copilot.
🔒 Доклад NVIDIA: Критические уязвимости в LLM
Команда NVIDIA AI Red Team представила обзор критических язвимостей в больших языковых моделях. Среди них – инъекции команд, а также проблемы безопасности, связанные с плагинами. Уязвимости LLM могут привести к искажению данных или утечке информации. Важным выводом является то, что LLM создают статистические предсказания, что делает их подверженными «галлюцинациям» и инъекциям команд. Детальной информацией NVIDIA делится в своём блоге.
🛡️ Глубокие бэкдоры в AI-агентах
На конференции также обсуждались риски, связанные с Deep Reinforcement Learning (DRL), где были выявлены опасные бэкдоры, встроенные непосредственно в нейронные сети. Такие бэкдоры могут скрыто манипулировать поведением агента, выдавая вредоносную информацию в качестве ответа на запрос. Исследователи предложили новые методы для выявления бэкдоров, анализируя внутренние активации нейронной сети в процессе работы.
#кибербезопасность #AI #ML #LLM #MicrosoftCopilot #NVIDIA #BlackHat2024 #технологии
1 минута
12 августа 2024