Агент ИИ раскрыл конфиденциальные данные без запроса. Агент, который отменил собственные защитные механизмы. Еще один, который отправил учетные данные злоумышленнику через Telegram, потому что забыл, что не должен этого делать после сброса. Не секрет, что агенты ИИ обладают огромным потенциалом, который уравновешивается столь же большими рисками. Что становится очевидным, […] — csoonline.com
Агент ИИ раскрыл конфиденциальные данные без запроса. Агент, который отменил собственные защитные механизмы. Еще один, который отправил учетные данные злоумышленнику через Telegram, потому что забыл, что не должен этого делать после сброса.
Не секрет, что агенты ИИ обладают огромным потенциалом, который уравновешивается столь же большими рисками. Однако становится очевидным, как быстро агентурные системы могут дико сойти с рельсов и начать раскрывать критически важную информацию в реальных условиях.
Представление о том, как легко это может произойти, дает отчет Phishing the agent: Why AI guardrails aren’t enough (Фишинг агента: почему ИИ-ограничителей недостаточно), посвященный тестам, проведенным компанией Okta Threat Intelligence, занимающейся управлением облачной идентификацией и доступом (IAM). В отчете были выявлены все упомянутые проблемы и не только.
Исследование было сосредоточено на OpenClaw — мультиканальном ИИ-помощнике, не зависящем от конкретной модели, который с конца 2025 года демонстрирует взрывной рост внутри предприятий.
Взлом Telegram
Подобно растущему числу конкурирующих агентов, полезность OpenClaw определяется тем, к каким файлам, учетным записям, браузерам, сетевым устройствам и, что самое важное, к учетным данным ему предоставлен доступ.
Один из тестов, проведенных Okta, оценивал, насколько легко обмануть OpenClaw, работающий на Claude Sonnet 4.6, чтобы он передал токен OAuth. Этого не должно быть возможно; LLM должен отклонить такой запрос. Однако то, что могло быть верным при обращении к Claude как к чат-боту, быстро рухнуло, когда доступ к нему осуществлялся через OpenClaw.
Тест предполагал, что пользователь предоставил OpenClaw полный доступ к своему компьютеру, регулярно управлял агентом через Telegram и что его учетная запись Telegram была скомпрометирована.
Сначала злоумышленник через Telegram поручил агенту извлечь токен OAuth, но отобразить его только в окне терминала на компьютере. Защитные механизмы Claude Sonnet помешали бы ему скопировать токен, однако тестировщики смогли сбросить настройки агента, заставив его забыть, что он отобразил токен в окне терминала.
В этот момент, как говорится в отчете Okta, «Агенту было поручено сделать снимок экрана рабочего стола, который включал токен, а затем поместить этот снимок в чат Telegram, что он и сделал. Эксфильтрация выполнена».
Агент-посредник
Агентурный ИИ — это, по сути, две вещи: мощная система оркестровки, соединенная с одной или несколькими высокопроизводительными LLM. Агент — это не простой интерфейс, и его следует рассматривать как отдельную систему, способную к автономному, непредсказуемому рассуждению.
Фактически, как отметил директор по угрозам Okta Джереми Кирк (Jeremy Kirk), «Это открывает новую поверхность атаки. Кто-то получает SIM-своп, его Telegram подключается к агенту, который имеет карт-бланш на выполнение чего угодно на его компьютере, а возможно, и в сети его работодателя. В корпоративном контексте это полный кошмар».
OpenClaw также настолько жестко запрограммирован на поиск путей обхода проблем, что иногда совершает неожиданные, ненадлежащие действия. Кирк сообщил, что агенту, которому в тестах было поручено получить доступ к веб-сайту, было предложено запросить учетные данные для входа на сайт через бота Telegram, незашифрованный канал, который подверг бы их воздействию любого, у кого есть доступ к этому чату.
В другом примере OpenClaw попросили найти в X (Twitter) истории об ИИ. Этого не должно было быть возможно; машина была авторизована в X, но изолированный профиль Chrome OpenClaw — нет. Однако, когда ему было предложено захватить сессионные куки из сессии с авторизацией и внедрить их в собственный процесс браузера, он с готовностью попытался это сделать.
По своему принципу это похоже на фишинговые атаки типа «человек посередине» (adversary-in-the-middle), которые позволяют злоумышленникам обойти такие средства защиты, как MFA. Этого не должно происходить, но OpenClaw посчитал это действие допустимым, подчеркивая, как злоумышленник может манипулировать им для совершения того же.
«По умолчанию агенты настраиваются на максимальную полезность, что вызывает особую озабоченность, когда речь идет об учетных данных и токенах», — сказал Кирк.
«Бросая вызов гравитации безопасности»
По словам Кирка, многие предприятия, иногда невольно, используют несанкционированные или слабо управляемые «теневые» агенты в своих сетях. Примером того, как это может пойти не так, является недавний компромисс Vercel, в ходе которого приложение Context.ai открыло дверь для кражи токенов сеанса OAuth нижестоящих систем.
Проблема заключается в том, что агенты используются разработчиками и сотрудниками в экспериментальных целях, с минимальным или полным отсутствием управления и надзора. Решение состоит в том, чтобы защитить их с помощью тех же средств контроля, которые применяются к пользователям или служебным учетным записям, считает Кирк. И помимо ограничения области действия агентов, предприятиям следует также позаботиться о защите самих учетных данных и токенов, избегая предоставления им длительного срока действия.
Агенты — лишь последний пример технологии, которая внедряется быстрее, чем ее можно обезопасить, отметил Кирк. «Большая часть ИИ в настоящее время бросает вызов гравитации безопасности», — сказал он. «Но есть способы безопасно использовать агентов и не допускать, чтобы учетные данные попадали в зону их досягаемости, что является единственным безопасным способом их использования».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – John E. Dunn