🗺 AIMap: инструмент, который показывает, где на самом деле начинается AI-атака
С появлением LLM архитектура перестает быть очевидной.
Раньше можно было нарисовать схему: тут фронт, вот API, здесь база и примерно понять, где проходит граница систем.
В AI-приложениях граница распадается. Один запрос к модели может привести к вызову внешнего инструмента, обращению к API, извлечению данных из хранилища или генерации нового действия.
Зачастую часть связей не фиксируется явно, она возникает на уровне prompt’ов, конфигураций агентов и оркестрации.
В какой-то момент становится трудно ответить на базовый вопрос:
что именно у нас вообще доступно для атаки?
⚙️ AIMap
AIMap проходит по AI-приложению и строит карту взаимодействий, граф, где узлы - это модели, сервисы, инструменты и источники данных, а рёбра - реальные связи между ними.
Инструмент собирает информацию из разных слоёв: описаний агентов, подключённых инструментов, доступных endpoints, путей, по которым данные могут проходить в процессе выполнения.
На выходе получается рабочая модель системы, в которой видно, как она ведёт себя в реальности.
🧪 Разберем инструмент чуть подробнее
AIMap выполняет следующие задачи:
1⃣ обнаруживает компоненты:
- какие LLM используются,
- какие у них интерфейсы,
- какие плагины или инструменты подключены.
2⃣ извлекает информацию о доступных действиях:
- какие функции может вызвать агент,
- к каким API у него есть доступ,
- какие источники данных подключены.
3⃣ строится фактический граф зависимостей. Если модель может вызвать инструмент, который в свою очередь ходит во внешний сервис, это становится частью цепочки. Если пользовательский ввод может повлиять на выбор инструмента, то это тоже фиксируется.
Таким образом формируется execution graph, который отражает возможные пути прохождения запроса через систему.
🧨 Поверхность атаки
Именно на этом графе начинают проявляться вещи, которые сложно увидеть иначе.
Во-первых, становятся видны неочевидные транзитивные связи. Например, модель напрямую не имеет доступа к чувствительным данным, но через цепочку вызовов этот доступ появляется.
Во-вторых, выявляются точки, где пользовательский ввод может влиять на поведение системы. Это потенциальные зоны для prompt injection и управления агентом.
В-третьих, всплывают «забытые» интеграции, инструменты или endpoints, которые формально существуют, но не учитываются в модели угроз.
🔗 GitHub: https://github.com/BishopFox/aimap
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AttackSurface #ThreatModeling #Infosec #CyberSecurity #AIrisks #OpenSource #SecureTechTalks
