SecureTechTalks

На arXiv вышел обзор: Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents. Авторы вводят новую модель Data Surfaces, где вместо привычного подхода «разберём типы атак» исследователи предлагают смотреть на поверхности данных: 🔹 базы данных и хранилища 🔹 файлы и таблицы 🔹 RAG-индексы 🔹 внешние API и инструменты 🔹 долговременная память агента 🔹 каналы общения между агентами Такой подход значительно изменяет модель угроз. Например, чувствительные данные могут утечь не...

Software Freedom Conservancy (SFC) выпустили довольно интересный документ с рекомендациями по использованию LLM в open-source проектах. Спойлер: не стоит использовать генеративный AI там, где важны происхождение кода, лицензирование и безопасность. ⚙️ В чём проблема? SFC отдельно разбирают, что LLM ломают базовые гарантии open-source supply chain. Когда разработчик вставляет сгенерированный код, он часто не знает: 🔹 откуда этот код появился 🔹 на какой лицензии он основан 🔹 не попал ли туда...

Нужно проверять поведение агента Появился интересный open-source проект Praxen. В основе Praxen лежит Agent Behavior Verification (ABV), слой формальной верификации поведения агента. Вместо анализа отдельных tool calls система строит модель допустимого execution graph: какие инструменты агент должен использовать, в каком порядке, с какими зависимостями, в каком контексте и с какими ограничениями. Решение описывает expected operational semantics агента, затем runtime execution сопоставляется с этим графом...

Недавно вышло исследование, где авторы решили проверить, насколько безопасен софт, который разрабатывается полностью через LLM с помощью вайбкодинга. Сегодня типичный сценарий, когда человек просто итеративно просит модель: «сделай CRM», «добавь авторизацию», «прикрути платежи», «разверни API», а дальше постепенно дорабатывает функциональность через новые промпты. Очевидно, что в таком подходе нет анализа угроз и security review. После аудита выяснилось, что большинство проблем лежат в базовой логике безопасности...

Cloud Security Alliance разобрали новую атаку AutoJack. Суть простая, если AI-агент умеет одновременно ходить в интернет и общаться с локальными сервисами, граница доверия "localhost" начинает ломаться. ⚙️ Как работает атака? Типовой сценарий выглядит заурядно, агент открывает внешнюю веб-страницу, вредоносный JavaScript внутри страницы инициирует запросы к локальному MCP endpoint. Endpoint принимает команды без нормальной аутентификации, по итогу агент запускает произвольный процесс на хосте. Внешний веб-контент получает execution path до локальной машины...

Cloud Security Alliance показывают, как компрометация MCP-слоя позволяет полностью перехватить operational loop AI-агента. MCP сегодня фактически становится управляющей панелью для агентов. Он: 🔹 описывает доступные инструменты 🔹 передаёт схемы вызовов 🔹 отдаёт контекст выполнения 🔹 управляет файловыми и API-ресурсами Однако большинство агентов воспринимают этот слой как доверенный. Если атакующий подсовывает фейковый MCP-server или подменённый tool descriptor, агент начинает строить reasoning уже на скомпрометированной модели...

Пока индустрия массово подключает агентам всё подряд через MCP, Google двигает другую идею: агент должен уметь сам понимать, какие ресурсы ему доступны и как с ними работать. Речь про Agentic Resource Discovery, новый подход, где агент получает не просто API, а карту окружения с инструментами, данными, политиками доступа и зависимостями. ⚙️ Что меняется Сейчас мы работаем в полходе «вот тебе tool, вот schema, иди работай» Google же предлагает более зрелую модель: «discover → understand → reason...

Пока сотрудники проходят тренинги по фишингу, агенты проверяют в бою. Исследователи из Varonis протестировали OpenClaw с доступом к почте, браузеру и корпоративным сервисам. Оказалось, что обычная социальная инженерия работает на нем не хуже, чем обычном человеке. ⚙️ Детали атаки Агенту отправляли вполне рабочие запросы: 🔹 «Нужен доступ к staging-среде» 🔹 «Пришли экспорт клиентов» 🔹 «Помоги настроить новый сервис» В ряде сценариев агент передавал доступы и чувствительные данные, несмотря на наличие инструкций по проверке запросов...

” Стоило появиться новостям об изменениях в программе семейной ипотеки, как в сети начали всплывать подозрительно «заботливые» сайты с обещаниями срочно зафиксировать ставку и проверить право на льготу. В реальности человека заводят на фейковый сайт, предлагают «проверку льгот», после чего просят авторизоваться через Госуслуги или подтвердить личность кодом из SMS. Дальше история стандартная: потеря доступа к аккаунту, утечка данным и т...

Большинство защит AI-агентов блокирует действие, если замечает риск и просто. В результате агент либо ломается, либо уходит в рекурсию, пока случайно не найдёт обходной путь. На arXiv вышла работа, где исследователи предлагают не останавливать агента, а безопасно менять его план действий. ⚙️ В чем суть? Guardrail анализирует действие агента перед выполнением (ту же shell-команду или API-вызов) после чего возвращает вердикт: «можно / запрещено / уровень риска». Однако реальные инциденты возникают не потому, что агент «злой», а потому что он работает на загрязнённом контексте...

Статья с таким заголовком вышла на arxiv.org OpenClaw стал слишком мощным. Теперь исследователи учат людей, как от него защищаться 😁 Авторы утверждают, что OpenClaw уже превратился из «прикольного open-source агента» в систему, которая может автономно выполнять длинные задачи, принимать решения и использовать инструменты почти как junior инженер. 👤Пользователь, как главная уязвимость AI-агентов Человек даёт агенту слишком много свободы: ❌ запускает OpenClaw с root/admin правами ❌ разрешает...

Федеративное обучение всё чаще рассматривают для задач ИБ: 🔹 обнаружение атак 🔹 антифрод 🔹 анализ телеметрии SOC 🔹 поиск аномалий Компании не готовы делиться сырыми логами, сетевым трафиком и инцидентами. Вместо централизации данных модель обучается распределённо. ⚙️ Как работает федеративное обучение? Типовая схема выглядит следующим образом: 1⃣ сервер рассылает базовую модель 2⃣ участники обучают её локально на своей телеметрии; 3⃣ наружу уходят только обновления весов, эмбединги и...