Microsoft выпустила Agent Governance Toolkit — проект с открытым исходным кодом для мониторинга и контроля ИИ-агентов в продакшене. Инструментарий отвечает на риски OWASP, добавляя уровень безопасности во время выполнения для смягчения угроз, таких как внедрение подсказок. — csoonline.com
Корпорация Microsoft незаметно представила Agent Governance Toolkit — проект с открытым исходным кодом, предназначенный для мониторинга и контроля ИИ-агентов во время выполнения, поскольку предприятия стремятся внедрить их в рабочие процессы производства.
Этот инструментарий, являющийся ответом на растущее внимание проекта OWASP (Open Worldwide Application Security Project) к рискам безопасности ИИ и LLM, добавляет уровень безопасности во время выполнения, который обеспечивает соблюдение политик для смягчения таких проблем, как внедрение подсказок (prompt injection), и повышает прозрачность поведения агентов в сложных многоэтапных рабочих процессах, — написал Имран Сиддики, ведущий менеджер группы по разработке в Microsoft, в записи в блоге.
Если говорить более конкретно, инструментарий соотносится с топ-10 рисков OWASP для агентурных систем, включая перехват целей (goal hijacking), неправомерное использование инструментов, злоупотребление идентификационными данными, риски цепочки поставок, выполнение кода, отравление памяти, небезопасные коммуникации, каскадные сбои, эксплуатацию доверия между человеком и агентом, а также несанкционированные агенты (rogue agents).
Обоснование создания инструментария, как написал Сиддики, проистекает из того факта, что системы ИИ все больше напоминают слабо регулируемые распределенные среды, где несколько недоверенных компонентов совместно используют ресурсы, принимают решения и взаимодействуют с внешним миром при минимальном надзоре.
Это побудило Microsoft применить проверенные шаблоны проектирования из операционных систем, сервисных сеток (service meshes) и инженерии надежности сайтов (site reliability engineering) для привнесения структуры, изоляции и контроля в эти среды, добавил Сиддики.
В результате гигант из Редмонда упаковал эти принципы в инструментарий, состоящий из семи компонентов, доступных на Python, TypeScript, Rust, Go и .NET.
Мультиязычный подход, пояснил Сиддики, направлен на то, чтобы соответствовать потребностям разработчиков и обеспечивать интеграцию в разнородные корпоративные стеки.
Что касается компонентов, то инструментарий включает такие модули, как уровень обеспечения политик под названием Agent OS, фреймворк безопасной связи и идентификации под названием Agent Mesh, среда контроля выполнения под названием Agent Runtime, а также дополнительные компоненты, такие как Agent SRE, Agent Compliance и Agent Lightning, охватывающие надежность, соответствие требованиям, управление маркетплейсом и надзор за обучением с подкреплением.
Помимо модульной конструкции, Сиддики далее написал, что инструментарий создан для работы с существующими средами разработки: «Мы изначально спроектировали инструментарий так, чтобы он был независим от фреймворков. Каждая интеграция подключается к нативным точкам расширения фреймворка: обработчикам обратного вызова LangChain, декораторам задач CrewAI, системе плагинов Google ADK, конвейеру промежуточного ПО Microsoft Agent Framework, поэтому добавление управления не требует переписывания кода агента».
Этот подход, объяснил старший руководитель, снизит накладные расходы на интеграцию и риски, позволяя разработчикам внедрять элементы управления в производственные системы без нарушения существующих рабочих процессов или несения затрат и сложности реархитектуры приложений.
Сиддики даже привел примеры нескольких интеграций фреймворков, которые уже развернуты в производственных нагрузках, включая интеграцию LlamaIndex TrustedAgentWorker.
Для желающих изучить инструментарий, который в настоящее время находится в публичной предварительной версии (public preview), он доступен по лицензии MIT и структурирован как монорепозиторий с независимо устанавливаемыми компонентами.
В будущем Microsoft планирует перевести проект на модель под руководством фонда и уже взаимодействует с сообществом агентурного ИИ OWASP для поддержки более широкого управления и курирования, написал Сиддики.
Статья изначально была опубликована в InfoWorld.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anirban Ghoshal