Агенты ИИ уже работают в корпоративных сетях, выполняя задачи сотрудников, но иногда допускают дорогостоящие ошибки. Инциденты в Meta* и Amazon показывают, что автономное ПО действует с реальными полномочиями. Эксперты призывают к внедрению безопасности во время выполнения (runtime security) для мониторинга активности агентов. — csoonline.com
Агенты ИИ уже действуют внутри корпоративных сетей, незаметно выполняя часть работы, которую раньше делали сами сотрудники, — пишут код, составляют черновики писем, извлекают файлы и подключаются к внутренним системам.
Иногда они также допускают дорогостоящие ошибки.
В Meta* сотрудница попросила ИИ-помощника помочь ей с управлением почтовым ящиком. Вместо этого он его удалил. В Amazon внутренний агент автономно решил демонтировать и пересобрать среду развертывания, оставив сервис AWS офлайн на 13 часов.
Эти инциденты дают представление о более масштабном сдвиге, с которым сталкиваются руководители служб безопасности: автономное программное обеспечение теперь действует в корпоративной среде с реальными разрешениями и реальными последствиями.
«Агенты похожи на подростков», — говорит Джо Салливан, бывший директор по безопасности Uber, Cloudflare и Facebook*, а ныне глава Joe Sullivan Security, в интервью CSO. «У них есть все доступы, но нет никакого суждения».
Годами большинство усилий по обеспечению безопасности ИИ были сосредоточены на предотвращении — сканировании моделей, фильтрации запросов (промптов) и анализе кода, сгенерированного ИИ, до его попадания в продакшн. Но по мере того, как предприятия развертывают автономные агенты, которые напрямую взаимодействуют с внутренними системами, некоторые руководители служб безопасности утверждают, что реальный риск начинается только после того, как эти агенты становятся активными.
«В сфере безопасности мы всегда предполагаем, что предотвращение потерпит неудачу», — говорит Салливан. «Вот почему обнаружение и мониторинг одинаково важны».
Скорость и автономность агентов ИИ означают, что ошибки или непредвиденные действия могут быстро каскадно распространиться по системам. Именно эта динамика заставляет растущее число руководителей служб безопасности сходиться, по крайней мере концептуально, вокруг того, что Салливан называет безопасностью во время выполнения (runtime security), или непрерывным мониторингом агентов по мере их работы внутри корпоративных сред.
Проще говоря, безопасность во время выполнения фокусируется на том, что делает программное обеспечение в процессе работы, а не только на его оценке до развертывания.
Почему агенты меняют модель безопасности
Годами CISO управляли поведением людей в корпоративных сетях. У них есть управление идентификацией, контроль доступа на основе ролей, аналитика поведения пользователей и инструменты обнаружения конечных точек.
Вопрос в том, могут ли те же самые структуры — и те же самые инструменты для отслеживания сотрудников — быть распространены на агентов ИИ. Руководители служб безопасности, изучающие эту проблему, говорят, что ответ: лишь частично. Традиционные структуры по-прежнему применимы концептуально, но механизмы, необходимые для наблюдения за поведением агентов, принципиально иные.
«Суть не нова — новый способ», — говорит Хана-Мари Дарли, соучредитель и директор по ИИ в Geordie AI. «Как вы на самом деле получаете эти данные, где вы на самом деле получаете поведенческую информацию агента, в основном через журналы, и не каждая платформа ИИ-агентов гарантирует, что у вас есть журналы, что они у вас вообще есть».
Традиционные инструменты безопасности были созданы для перехвата человеческого поведения на периметровых контрольных точках, где сотрудники получают доступ к интернету, входят в системы или перемещают данные через границы. Агенты часто полностью обходят эти контрольные точки. Они работают через вызовы API и соединения MCP, которые могут никогда не проходить через средства безопасности, которые обычно помечают аномальное поведение.
Они также генерируют значительно больше активности. Если типичный сотрудник может создать 50–100 событий в журнале за двухчасовой период, агент может сгенерировать в 10–20 раз больший объем за то же время. И — что критически важно — они часто вообще не создают никаких журналов.
Некоторые платформы агентов по умолчанию генерируют надежные аудиторские журналы. Другие — нет. Кодирующие агенты могут перезаписывать собственные журналы сеансов при повторном воспроизведении предыдущего сеанса, что означает, что команда безопасности, расследующая инцидент, может обнаружить, что запись о произошедшем стерта.
«Наличие журналов в первую очередь часто является более сложным шагом, чем люди понимают, потому что не у каждого агента они есть нативно», — говорит Дарли в интервью CSO.
Проблема инвентаризации
Прежде чем CISO сможет отслеживать действия агентов, они сталкиваются с более фундаментальной проблемой: знанием о том, какие агенты существуют.
Эта простая идея сложнее, чем кажется. Во многих крупных предприятиях агенты распространяются быстрее, чем любая центральная инвентаризация может их учесть. Маркетинговые команды развертывают ИИ-помощников. Отделы кадров используют агентов для скрининга резюме. Инженеры запускают кодирующие агенты с широким доступом к файловой системе. Нетехнические сотрудники подключают ИИ-инструменты для повышения производительности, такие как заметки, менеджеры электронной почты и помощники по планированию, к корпоративным учетным записям, часто без официального одобрения ИТ-отдела.
«Сейчас CISO получают сложный вопрос от своего совета директоров и генерального директора», — говорит Салливан. «Какой ИИ работает внутри компании прямо сейчас? Вы должны ответить на этот вопрос. Какой ИИ работает и что он делает?»
Дарли рекомендует начать со структурированных усилий по инвентаризации, в идеале с использованием инструментов, специально разработанных для обнаружения агентов, поскольку системы общего управления приложениями часто не могут видеть агентов, находящихся в облаке, в репозиториях кода или внутри сторонних SaaS-платформ.
«Начните хотя бы с одной системы», — советует она. «Это даст вам представление о масштабе, поможет понять, кто является владельцами, и начнет обучать вас тому, какой инструмент вам на самом деле нужен».
Без инвентаризации поведенческий мониторинг не имеет опоры. Команды безопасности могут отслеживать журналы тех агентов, о которых они знают. Но те агенты, которые они пропустили, — это именно те, которые с наибольшей вероятностью приведут к нежелательным последствиям.
Как выглядит мониторинг во время выполнения
Как только организация узнает, где находятся ее агенты, возникает вопрос, за чем следить — и как.
Элиа Зайцев, технический директор CrowdStrike, сообщает CSO, что существующие инструменты обнаружения и реагирования на конечных точках (EDR) уже фиксируют типы поведения, необходимые для отслеживания агентов ИИ. Они инструментируют операционные системы как бортовой самописец, записывая каждое запущенное приложение, каждый файл, к которому оно обращается, каждое сетевое соединение, которое оно устанавливает, и каждую команду, которую оно порождает.
Например, EDR от CrowdStrike строит граф угроз: связанную карту поведений и их исходных причин. Если происходит подозрительное сетевое соединение, граф угроз может проследить его через множество степеней разделения до приложения или агента, который инициировал цепочку.
«Технология EDR может связать это конечное поведение с тем фактом, что оно исходит от приложения, управляемого агентной системой», — объясняет Зайцев. «Брандмауэр просто сообщает вам, что что-то на этом компьютере пытается связаться с моделью ИИ в облаке. EDR позволяет вам сказать: это конкретное приложение общается с этой конкретной моделью».
Для агентов ИИ это создает новый набор элементов управления. Система, распознающая известное приложение-агент — Claude Code, Codex от OpenAI, OpenHands, — может применять к этому приложению иную политику, чем если бы то же приложение работало под управлением человека. «Есть действия, которые могут быть безвредными, если отвечает человек», — говорит Зайцев, — «но если это ИИ-агент, которому я не обязательно доверяю, я могу захотеть применить другие политики на лету».
Безопасность на этапе сборки по-прежнему играет ключевую роль
Не все предприятия будут использовать только готовых агентов ИИ. Многие будут создавать такие системы самостоятельно.
Из-за этого мониторинг во время выполнения не означает, что безопасность на этапе сборки — сканирование кода, оценка моделей перед развертыванием и проверка промптов — это проблема прошлого. Варун Бадхвар, генеральный директор Endor Labs, оспаривает такую трактовку.
«Я никогда не скажу, что среда выполнения не важна», — говорит Бадхвар CSO. «Но вы хотите исправить как можно больше на ранних этапах. Средняя стоимость обнаружения проблемы безопасности во время выполнения составляет 4000 долларов, по сравнению с 40 долларами на этапе сборки. Так что, угадайте что? Вы хотите исправить как можно больше до того, как это вообще дойдет до этого».
Уязвимость, обнаруженная, пока разработчик еще пишет код, исправляется за минуты. Та же уязвимость, будучи развернутой в контейнере, прошедшей QA и выгруженной в производственную среду, требует прослеживания каждого шага этого пути, прежде чем ее можно будет устранить — при стоимости примерно в сто раз выше. Бадхвар использует аналогию с автомобильной сборочной линией: меры контроля качества на сборочной линии всегда дешевле, чем отзыв 70 000 автомобилей с дорог.
Его структура проста: сдвиг влево, защита справа. Сдвинуть как можно больше мер безопасности в процесс разработки — выявлять проблемы, пока агенты строятся, а не после того, как они запущены. Затем защищать справа с помощью мониторинга во время выполнения в качестве вашей страховки на последней миле, потому что некоторые вещи всегда будут проскальзывать, а уязвимости нулевого дня по определению невозможно предвидеть на этапе сборки.
Что CISO следует делать сейчас
Для CISO этот сдвиг заключается не столько в одном новом инструменте, сколько в новом образе мышления о рисках ИИ. Вместо того чтобы сосредоточиваться исключительно на том, как создаются агенты, командам безопасности все чаще требуется видимость того, как они ведут себя после начала работы внутри корпоративных систем.
Таким образом, путь вперед для CISO — это не один новый продукт или полная замена существующей инфраструктуры. Это методичное распространение дисциплины безопасности на новую категорию действующих лиц внутри предприятия.
Зайцев формулирует это, используя модель эшелонированной безопасности (security-in-depth): вы не прекращаете обеспечивать безопасность агентов на этапе сборки только потому, что доступен мониторинг во время выполнения. Вы строите и то, и другое. «EDR и безопасность во время выполнения — это та самая страховка последнего уровня», — говорит он. «Вам все равно нужны все остальные уровни».
Но эксперты считают, что следующие отправные точки могут стать практическими первыми шагами к внедрению безопасности во время выполнения для большинства CISO:
Сначала создайте инвентаризацию. Выберите одну систему — основную SaaS-платформу, ваши репозитории кода, ваш парк конечных точек — и составьте карту агентов, работающих в ней. Определите владельцев, разрешения и протоколы. Без видимости ничего другого невозможно.
Расширьте поведенческий мониторинг на агентов. Будь то через EDR, специализированные инструменты безопасности агентов или их комбинацию, определите, что является нормой. К каким системам должен обращаться каждый агент? Какие данные он должен обрабатывать? С кем он должен общаться? Отклонения от этой базовой линии — это ваш сигнал.
Применяйте политики, специфичные для агентов. Не управляйте агентами теми же средствами контроля, которые вы используете для сотрудников. У них разные шаблоны доступа, разные профили риска и разные режимы отказа. Инструменты, осведомленные об агентах, могут различать политики в зависимости от того, управляется ли приложение ИИ.
Проектируйте реагирование на инциденты заранее. Знайте, как вы остановите некорректно работающего агента, не уничтожив доказательства того, что он сделал. Поведенческие журналы должны собираться в отдельные, защищенные от записи хранилища — а не только в нативном логировании платформы агента, которое может быть перезаписано.
Планируйте ИИ-решения для ИИ-проблем. Вы не сможете нанять достаточно людей, чтобы справиться с проблемой объема. Командам безопасности потребуется автоматизация для мониторинга систем, работающих со скоростью машины.
См. также:
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Cynthia Brumfield