SecureTechTalks

Cloud Security Alliance показывают, как компрометация MCP-слоя позволяет полностью перехватить operational loop AI-агента. MCP сегодня фактически становится управляющей панелью для агентов. Он: 🔹 описывает доступные инструменты 🔹 передаёт схемы вызовов 🔹 отдаёт контекст выполнения 🔹 управляет файловыми и API-ресурсами Однако большинство агентов воспринимают этот слой как доверенный. Если атакующий подсовывает фейковый MCP-server или подменённый tool descriptor, агент начинает строить reasoning уже на скомпрометированной модели...

Пока индустрия массово подключает агентам всё подряд через MCP, Google двигает другую идею: агент должен уметь сам понимать, какие ресурсы ему доступны и как с ними работать. Речь про Agentic Resource Discovery, новый подход, где агент получает не просто API, а карту окружения с инструментами, данными, политиками доступа и зависимостями. ⚙️ Что меняется Сейчас мы работаем в полходе «вот тебе tool, вот schema, иди работай» Google же предлагает более зрелую модель: «discover → understand → reason...

Пока сотрудники проходят тренинги по фишингу, агенты проверяют в бою. Исследователи из Varonis протестировали OpenClaw с доступом к почте, браузеру и корпоративным сервисам. Оказалось, что обычная социальная инженерия работает на нем не хуже, чем обычном человеке. ⚙️ Детали атаки Агенту отправляли вполне рабочие запросы: 🔹 «Нужен доступ к staging-среде» 🔹 «Пришли экспорт клиентов» 🔹 «Помоги настроить новый сервис» В ряде сценариев агент передавал доступы и чувствительные данные, несмотря на наличие инструкций по проверке запросов...

” Стоило появиться новостям об изменениях в программе семейной ипотеки, как в сети начали всплывать подозрительно «заботливые» сайты с обещаниями срочно зафиксировать ставку и проверить право на льготу. В реальности человека заводят на фейковый сайт, предлагают «проверку льгот», после чего просят авторизоваться через Госуслуги или подтвердить личность кодом из SMS. Дальше история стандартная: потеря доступа к аккаунту, утечка данным и т...

Большинство защит AI-агентов блокирует действие, если замечает риск и просто. В результате агент либо ломается, либо уходит в рекурсию, пока случайно не найдёт обходной путь. На arXiv вышла работа, где исследователи предлагают не останавливать агента, а безопасно менять его план действий. ⚙️ В чем суть? Guardrail анализирует действие агента перед выполнением (ту же shell-команду или API-вызов) после чего возвращает вердикт: «можно / запрещено / уровень риска». Однако реальные инциденты возникают не потому, что агент «злой», а потому что он работает на загрязнённом контексте...

Статья с таким заголовком вышла на arxiv.org OpenClaw стал слишком мощным. Теперь исследователи учат людей, как от него защищаться 😁 Авторы утверждают, что OpenClaw уже превратился из «прикольного open-source агента» в систему, которая может автономно выполнять длинные задачи, принимать решения и использовать инструменты почти как junior инженер. 👤Пользователь, как главная уязвимость AI-агентов Человек даёт агенту слишком много свободы: ❌ запускает OpenClaw с root/admin правами ❌ разрешает...

Федеративное обучение всё чаще рассматривают для задач ИБ: 🔹 обнаружение атак 🔹 антифрод 🔹 анализ телеметрии SOC 🔹 поиск аномалий Компании не готовы делиться сырыми логами, сетевым трафиком и инцидентами. Вместо централизации данных модель обучается распределённо. ⚙️ Как работает федеративное обучение? Типовая схема выглядит следующим образом: 1⃣ сервер рассылает базовую модель 2⃣ участники обучают её локально на своей телеметрии; 3⃣ наружу уходят только обновления весов, эмбединги и...

Большинство защит LLM работают довольно прямолинейно: 🔹 анализируют prompt 🔹 ищут подозрительные шаблоны 🔹 смотрят на внутренние представления модели 🔹 пытаются вычислить «опасное» пространство признаков Однако вполне легитимный запрос вроде: «объясни, как работает анализ вредоносного ПО» фиксируется, как подозрительный просто из-за словаря, а реально вредоносный промпт успешно выполняется. ⚙️ Анализ движения внутри модели В новой работе Manifold Trajectory Kinetics (MTK) исследователи предлагают сформироваться  на том, как запрос эволюционирует внутри модели...

На arXiv вышла работа, где исследователи решили собрать benchmark для атак на AI-агентов и системно проверить, что реально помогает против prompt injection. ⚙️ 847 способов сломать агента Авторы собрали 847 adversarial test cases для RAG-агентов и разбили атаки на несколько категорий: 🔹 прямой prompt injection 🔹 подмена контекста 🔹 override инструкций 🔹 эксфильтрация данных 🔹 «загрязнение» контекста между сессиями Далее все прогоняли через реалистичные сценарии, например: вредоносный документ → попадание в RAG → извлечение в prompt → изменение поведения агента → вызов инструментов...

В Android начали разворачивать функцию Scam Detection. Система анализирует паттерны разговора в реальном времени и пытается заметить признаки телефонного мошенничества: 🔹 просьбы срочно перевести деньги 🔹 требования сообщить PIN, пароль или OTP 🔹 давление в стиле «действуйте немедленно» 🔹 попытки заставить установить приложение 🔹 просьбы отключить защиту устройства Если разговор начинает напоминать известные fraud-сценарии, то Android показывает live warning прямо во время вызова. 🧠 Техническая...

На GitHub появился Agent Threat Rules, open-source проект, который стандартизирует обнаружение атак на агентские системы. ⚙️ А это вообще нужно? Телеметрия безопасности современных AI-агентов хаотична. Есть: 🔹 вызовы инструментов 🔹 доступ к памяти 🔹 прохождение prompt’ов 🔹 ответы модели 🔹 взаимодействие между агентами 🔹 обращения к RAG Но почти нет нормального уровня обнаружения угроз. Agent Threat Rules предлагает фреймворк обнаружения угроз, где сценарии атак описываются в виде машиночитаемых правил...

На arXiv вышла работа AutoSci: агентская система, которая пытается автоматизировать полный research pipeline: 🔹 поиск литературы 🔹 генерация гипотез 🔹 постановка экспериментов 🔹 запуск вычислений 🔹 анализ результатов 🔹 написание статьи Агент работает как stateful execution system, где исследование разбивается на этапы через orchestration layer SciFlow. Каждая стадия получает свой контекст, скиллы и execution logic. ⚙️ Главная фишка Самая сильная часть архитектуры - это память, SciMem....