Добавить в корзинуПозвонить
Найти в Дзене
SecureTechTalks

🧠 OWASP взялись за безопасность памяти AI-агентов

OWASP запустили Agent Memory Guard, проект посвящённый безопасности памяти AI-агентов. Большинство memory-систем работают примерно одинаково: контекст → embedding → векторная база данных → извлечение → обратная подача в prompt. Безопасность в таком подходе почти отсутствует. Например: вредоносный документ → загрузка через RAG → преобразование в embedding → сохранение в памяти → извлечение в следующей сессии → агент начинает воспринимать вредоносную инструкцию как доверенный исторический контекст. Prompt injection внезапно становится постоянным. Один удачный payload способен пережить перезапуск процесса и начать влиять на дальнейшее reasoning агента. 🔬 Решение OWASP Проект пока больше похож на модель угроз + набор практик безопасности, чем на готовый продукт. Но внутри уже есть довольно интересная систематизация рисков. 1⃣ Отравление памяти Атакующий загрязняет слой памяти. Например: скрытые инструкции попадают в память поиска и позже начинают влиять на принятие решений агентом

🧠 OWASP взялись за безопасность памяти AI-агентов.

OWASP запустили Agent Memory Guard, проект посвящённый безопасности памяти AI-агентов.

Большинство memory-систем работают примерно одинаково:

контекст → embedding → векторная база данных → извлечение → обратная подача в prompt.

Безопасность в таком подходе почти отсутствует.

Например:

вредоносный документ → загрузка через RAG → преобразование в embedding → сохранение в памяти → извлечение в следующей сессии → агент начинает воспринимать вредоносную инструкцию как доверенный исторический контекст. Prompt injection внезапно становится постоянным. Один удачный payload способен пережить перезапуск процесса и начать влиять на дальнейшее reasoning агента.

🔬 Решение OWASP

Проект пока больше похож на модель угроз + набор практик безопасности, чем на готовый продукт. Но внутри уже есть довольно интересная систематизация рисков.

1⃣ Отравление памяти

Атакующий загрязняет слой памяти.

Например:

скрытые инструкции попадают в память поиска и позже начинают влиять на принятие решений агентом.

OWASP предлагают вводить:

🔹 оценку доверия к источникам

🔹 проверку данных перед сохранением

🔹 метаданные происхождения информации

🔹 классификацию содержимого перед записью

2⃣ Изоляция памяти

Для мультиагентных систем появляется другая проблема: заражение между агентами.

Если несколько агентов используют общее хранилище памяти, компрометация одного агента начинает влиять на остальных.

OWASP предлагают:

🔹 изоляцию пространств памяти

🔹 ограничение доступа к контексту

🔹 отдельные границы памяти для каждого агента

🔹 сегментацию памяти по принципу Zero Trust

3⃣ Управление жизненным циклом памяти

Самая практичная часть проекта. OWASP отдельно подчёркивают:

память не должна жить вечно.

Рекомендуются:

🔹 время жизни записей (TTL)

🔹 автоматическое устаревание памяти

🔹 снижение уровня доверия со временем

🔹 механизмы отзыва контекста

🔹 периодическая повторная проверка

🔗 GitHub: https://github.com/OWASP/www-project-agent-memory-guard

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #OWASP #AgenticAI #PromptInjection #AppSec #CyberSecurity #AIsecurity #SecureTechTalks