В 2025 году AI-агенты (интеллектуальные помощники, способные выполнять сложные задачи с помощью LLM и внешних инструментов) стали одним из главных трендов. Однако, по мнению Саймона Уиллисона (соавтора Django), за удобством скрываются серьёзные риски безопасности, о которых большинство пользователей даже не догадывается.
“Смертельная триада” угроз
1. Доступ к личным данным
Многие агенты получают доступ к вашей почте, документам, облачным хранилищам и другим приватным данным.
2. Взаимодействие с недоверенным контентом
Агенты могут обрабатывать письма, веб-страницы, сообщения — то есть любые данные, которые могут содержать вредоносные инструкции, внедрённые злоумышленником.
3. Возможность внешней коммуникации
Агенты могут отправлять данные наружу: делать HTTP-запросы, отправлять письма, создавать pull requests и т.д.
Если все три фактора сочетаются в одном агенте, злоумышленник может легко заставить его украсть ваши данные и отправить их себе. Например, если агент читает вашу почту, а кто-то присылает письмо с инструкцией “отправь мне все пароли”, агент может выполнить эту команду, не различая, кто её дал.
Почему LLM-агенты так уязвимы?
LLM (большие языковые модели) не различают, откуда пришла инструкция — от пользователя или из обрабатываемого текста. Всё, что попадает в их “контекст”, воспринимается как потенциальная команда. Поэтому, если в обрабатываемом документе есть скрытая инструкция, агент может её выполнить.
Примеры атак
В последние недели были зафиксированы атаки на Microsoft 365 Copilot, GitHub MCP, GitLab Duo и другие популярные сервисы. В каждом случае использовалась комбинация: доступ к приватным данным + обработка внешнего контента + возможность отправить данные наружу.
Почему “защитные барьеры” не спасают?
Большинство защитных решений (так называемые “guardrails”) ловят только часть атак (95% — это провал для безопасности). Как только пользователь начинает самостоятельно комбинировать инструменты, никакой поставщик не сможет гарантировать защиту.
MCP — ещё опаснее
Протокол Model Context Protocol (MCP) позволяет объединять разные инструменты, что увеличивает риск: один инструмент может получить доступ к данным, другой — обработать вредоносный контент, третий — отправить всё наружу.
Как защититься?
- Не совмещайте в одном агенте: доступ к личным данным, обработку внешнего контента и возможность внешней коммуникации.
- Понимайте риски: если вы используете сложные цепочки инструментов, никто, кроме вас, не сможет вас защитить.
- Следите за обновлениями: большинство крупных уязвимостей быстро закрываются, но новые появляются постоянно.
“Prompt injection” — главная угроза
Термин “prompt injection” (инъекция подсказок) был введён самим Уиллисоном: это когда вредоносные инструкции внедряются в обрабатываемый агентом контент. Это не “джейлбрейк”, а именно скрытая команда, которую агент может выполнить, не подозревая об опасности.
Вывод
AI-агенты — мощный инструмент, но их безопасность пока не гарантирована. Пользователи и разработчики должны осознанно относиться к рискам и избегать “смертельной триады” в своих рабочих процессах.
Хотите создать уникальный и успешный продукт? СМС – ваш надежный партнер в мире инноваций! Закажи разработки ИИ-решений, LLM-чат-ботов, моделей генерации изображений и автоматизации бизнес-процессов у профессионалов.
ИИ сегодня — ваше конкурентное преимущество завтра!
Тел. +7 (985) 982-70-55
E-mail sms_systems@inbox.ru