Новое исследование освещает растущие угрозы, порождаемые векторами атак, ориентированными на искусственный интеллект. В докладе подчёркивается, как злоумышленники эксплуатируют процессы принятия решений как человека, так и AI, и почему традиционные подходы к безопасности уже не обеспечивают адекватной защиты.
Ключевая идея отчёта
Традиционные мошенники используют давно известные уязвимости человеческого поведения — жадность, доверчивость, спешку. Однако у AI есть свои особенности: отсутствие инстинктного скептицизма и склонность выполнять подсказки буквально. Модели вроде Copilot от Microsoft и Comet от Perplexity оказываются уязвимы к методам, известным как prompt injection, — скрытым инструкциям в обрабатываемом контенте, заставляющим модель выполнять нежелательные или вредоносные действия.
Что такое prompt injection и почему это опасно
Prompt injection — это метод, при котором в контент, получаемый моделью, внедряются скрытые инструкции. Эти инструкции могут заставить AI:
- переходить по вредоносным ссылкам;
- вводить или передавать конфиденциальные данные;
- формировать поддельные сообщения от имени банков или сервисов.
В результате один и тот же механизм атаки может применяться как массово, на множество людей, так и централизованно — через одну модель, что обеспечивает масштабируемость и изощрённость мошеннических кампаний.
Реальные сценарии атак
Отчёт приводит иллюстративные примеры: браузер с AI можно заставить автоматически перейти в мошеннический интернет‑магазин; агент AI, управляющий почтой или покупками, может подставить «phishing emails» под видом подлинных банковских сообщений. Поскольку агенты AI всё чаще выполняют рутинные операции, их компрометация приводит к прямому финансовому и репутационному ущербу.
«По мере того как агенты AI берут на себя рутинные решения, их уязвимости становятся критическими».
Scamlexity — новая степень сложности мошенничества
В отчёте введён термин Scamlexity — характеризующий рост сложности схем мошенничества по мере интеграции AI‑интерфейсов в повседневные задачи: от покупок до управления электронной почтой. Чем глубже AI вовлечён в процессы, тем более многослойными становятся атаки и тем труднее отличить подделку от легитимного поведения.
Рекомендации по защите
Авторы подчёркивают необходимость специально разработанных мер безопасности для процессов принятия решений с участием AI. Ключевые меры включают:
- внедрение детекции phishing emails и фишинговых шаблонов;
- URL reputation checks и мониторинг подозрительных ссылок;
- alerts about domain spoofing и защита от подмены доменов;
- обнаружение поведенческих аномалий у агентов AI и попыток отклонения от ожидаемой логики;
- ввод human‑in‑the‑loop для проверок критичных решений;
- жёсткие политики доступа, логирование и аудит действий агентов;
- регулярное adversarial testing и оценка устойчивости моделей к prompt injection;
- санитизация входных данных и валидация внешнего контента перед передачей в модель.
Выводы
Поскольку системы AI берут на себя функции, традиционно выполняемые людьми, возникает настоятельная необходимость разработать и внедрить специализированные протоколы безопасности. Без этого AI‑агенты будут оставаться привлекательной мишенью: масштабируемость атак и уровень «Scamlexity» делают новые угрозы особенно опасными. В ближайшее время приоритетом для разработчиков, провайдеров и пользователей должно стать создание механизмов, которые позволят AI безопасно и эффективно выполнять возложенные на них задачи.
Отчет получен из сервиса CTT Report Hub. Права на отчет принадлежат его владельцу.
Ознакомиться подробнее с отчетом можно по ссылке.
Оригинал публикации на сайте CISOCLUB: "Быстрое внедрение и Scamlexity: уязвимости ИИ в решениях".
Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.
Подписывайтесь на нас: VK | Rutube | Telegram | Дзен | YouTube.