SecureTechTalks

Большинство защит AI-агентов блокирует действие, если замечает риск и просто. В результате агент либо ломается, либо уходит в рекурсию, пока случайно не найдёт обходной путь. На arXiv вышла работа, где исследователи предлагают не останавливать агента, а безопасно менять его план действий. ⚙️ В чем суть? Guardrail анализирует действие агента перед выполнением (ту же shell-команду или API-вызов) после чего возвращает вердикт: «можно / запрещено / уровень риска». Однако реальные инциденты возникают не потому, что агент «злой», а потому что он работает на загрязнённом контексте...

Статья с таким заголовком вышла на arxiv.org OpenClaw стал слишком мощным. Теперь исследователи учат людей, как от него защищаться 😁 Авторы утверждают, что OpenClaw уже превратился из «прикольного open-source агента» в систему, которая может автономно выполнять длинные задачи, принимать решения и использовать инструменты почти как junior инженер. 👤Пользователь, как главная уязвимость AI-агентов Человек даёт агенту слишком много свободы: ❌ запускает OpenClaw с root/admin правами ❌ разрешает...

Федеративное обучение всё чаще рассматривают для задач ИБ: 🔹 обнаружение атак 🔹 антифрод 🔹 анализ телеметрии SOC 🔹 поиск аномалий Компании не готовы делиться сырыми логами, сетевым трафиком и инцидентами. Вместо централизации данных модель обучается распределённо. ⚙️ Как работает федеративное обучение? Типовая схема выглядит следующим образом: 1⃣ сервер рассылает базовую модель 2⃣ участники обучают её локально на своей телеметрии; 3⃣ наружу уходят только обновления весов, эмбединги и...

Большинство защит LLM работают довольно прямолинейно: 🔹 анализируют prompt 🔹 ищут подозрительные шаблоны 🔹 смотрят на внутренние представления модели 🔹 пытаются вычислить «опасное» пространство признаков Однако вполне легитимный запрос вроде: «объясни, как работает анализ вредоносного ПО» фиксируется, как подозрительный просто из-за словаря, а реально вредоносный промпт успешно выполняется. ⚙️ Анализ движения внутри модели В новой работе Manifold Trajectory Kinetics (MTK) исследователи предлагают сформироваться  на том, как запрос эволюционирует внутри модели...

На arXiv вышла работа, где исследователи решили собрать benchmark для атак на AI-агентов и системно проверить, что реально помогает против prompt injection. ⚙️ 847 способов сломать агента Авторы собрали 847 adversarial test cases для RAG-агентов и разбили атаки на несколько категорий: 🔹 прямой prompt injection 🔹 подмена контекста 🔹 override инструкций 🔹 эксфильтрация данных 🔹 «загрязнение» контекста между сессиями Далее все прогоняли через реалистичные сценарии, например: вредоносный документ → попадание в RAG → извлечение в prompt → изменение поведения агента → вызов инструментов...

В Android начали разворачивать функцию Scam Detection. Система анализирует паттерны разговора в реальном времени и пытается заметить признаки телефонного мошенничества: 🔹 просьбы срочно перевести деньги 🔹 требования сообщить PIN, пароль или OTP 🔹 давление в стиле «действуйте немедленно» 🔹 попытки заставить установить приложение 🔹 просьбы отключить защиту устройства Если разговор начинает напоминать известные fraud-сценарии, то Android показывает live warning прямо во время вызова. 🧠 Техническая...

На GitHub появился Agent Threat Rules, open-source проект, который стандартизирует обнаружение атак на агентские системы. ⚙️ А это вообще нужно? Телеметрия безопасности современных AI-агентов хаотична. Есть: 🔹 вызовы инструментов 🔹 доступ к памяти 🔹 прохождение prompt’ов 🔹 ответы модели 🔹 взаимодействие между агентами 🔹 обращения к RAG Но почти нет нормального уровня обнаружения угроз. Agent Threat Rules предлагает фреймворк обнаружения угроз, где сценарии атак описываются в виде машиночитаемых правил...

На arXiv вышла работа AutoSci: агентская система, которая пытается автоматизировать полный research pipeline: 🔹 поиск литературы 🔹 генерация гипотез 🔹 постановка экспериментов 🔹 запуск вычислений 🔹 анализ результатов 🔹 написание статьи Агент работает как stateful execution system, где исследование разбивается на этапы через orchestration layer SciFlow. Каждая стадия получает свой контекст, скиллы и execution logic. ⚙️ Главная фишка Самая сильная часть архитектуры - это память, SciMem....

OWASP запустили Agent Memory Guard, проект посвящённый безопасности памяти AI-агентов. Большинство memory-систем работают примерно одинаково: контекст → embedding → векторная база данных → извлечение → обратная подача в prompt. Безопасность в таком подходе почти отсутствует. Например: вредоносный документ → загрузка через RAG → преобразование в embedding → сохранение в памяти → извлечение в следующей сессии → агент начинает воспринимать вредоносную инструкцию как доверенный исторический контекст...

Что теперь делать? PipeLock - open-source execution proxy для AI-агентов. Инструмент встраивается между агентом и системой исполнения и начинает проверять каждую команду до того, как она попадёт в shell. Сильной стороной проекта является уровень контроля. PipeLock анализирует уже финальную команду, после того как LLM её сгенерировала. Технически процесс выглядит следующим образом: система перехватывает shell invocation → парсит итоговую команду → раскладывает её на бинарник, флаги, аргументы и execution context → сравнивает с политиками...

Похоже, эпоха «универсальных» агентов начинает заканчиваться. На GitHub появился репозиторий Anthropic Cybersecurity Skills, набор готовых procedural skills для offensive-security задач. Унифецировать operational workflow для агентов кибербезопасности становится проще. Внутри набор специализированных "SKILL.md", заточенных под конкретные сценарии: 🔹 web exploitation 🔹 reconnaissance 🔹 reverse engineering 🔹 binary analysis 🔹 vulnerability research 🔹 CTF-style workflows ⚙️ Немного о сценариях Skill ограничивает search space агента...

Anthropic выпустила первый апдейт по Project Glasswing, инициативе, где их закрытая модель Claude Mythos ищет уязвимости в критически важном ПО: 🔹 Просканировано >1000 open-source проектов 🔹 Найдено 23 019 проблем 🔹 Из них 6202 high/critical 🔹 Более 90% проверенных находок оказались настоящими уязвимостями Mythos не просто помогает человеку искать баги, он автономно работает как исследователь безопасности: анализирует код, находит zero-day, строит цепочки эксплуатации и даже генерирует exploit path...