SecureTechTalks

На GitHub появился Agent Threat Rules, open-source проект, который стандартизирует обнаружение атак на агентские системы. ⚙️ А это вообще нужно? Телеметрия безопасности современных AI-агентов хаотична. Есть: 🔹 вызовы инструментов 🔹 доступ к памяти 🔹 прохождение prompt’ов 🔹 ответы модели 🔹 взаимодействие между агентами 🔹 обращения к RAG Но почти нет нормального уровня обнаружения угроз. Agent Threat Rules предлагает фреймворк обнаружения угроз, где сценарии атак описываются в виде машиночитаемых правил...

На arXiv вышла работа AutoSci: агентская система, которая пытается автоматизировать полный research pipeline: 🔹 поиск литературы 🔹 генерация гипотез 🔹 постановка экспериментов 🔹 запуск вычислений 🔹 анализ результатов 🔹 написание статьи Агент работает как stateful execution system, где исследование разбивается на этапы через orchestration layer SciFlow. Каждая стадия получает свой контекст, скиллы и execution logic. ⚙️ Главная фишка Самая сильная часть архитектуры - это память, SciMem....

OWASP запустили Agent Memory Guard, проект посвящённый безопасности памяти AI-агентов. Большинство memory-систем работают примерно одинаково: контекст → embedding → векторная база данных → извлечение → обратная подача в prompt. Безопасность в таком подходе почти отсутствует. Например: вредоносный документ → загрузка через RAG → преобразование в embedding → сохранение в памяти → извлечение в следующей сессии → агент начинает воспринимать вредоносную инструкцию как доверенный исторический контекст...

Что теперь делать? PipeLock - open-source execution proxy для AI-агентов. Инструмент встраивается между агентом и системой исполнения и начинает проверять каждую команду до того, как она попадёт в shell. Сильной стороной проекта является уровень контроля. PipeLock анализирует уже финальную команду, после того как LLM её сгенерировала. Технически процесс выглядит следующим образом: система перехватывает shell invocation → парсит итоговую команду → раскладывает её на бинарник, флаги, аргументы и execution context → сравнивает с политиками...

Похоже, эпоха «универсальных» агентов начинает заканчиваться. На GitHub появился репозиторий Anthropic Cybersecurity Skills, набор готовых procedural skills для offensive-security задач. Унифецировать operational workflow для агентов кибербезопасности становится проще. Внутри набор специализированных "SKILL.md", заточенных под конкретные сценарии: 🔹 web exploitation 🔹 reconnaissance 🔹 reverse engineering 🔹 binary analysis 🔹 vulnerability research 🔹 CTF-style workflows ⚙️ Немного о сценариях Skill ограничивает search space агента...

Anthropic выпустила первый апдейт по Project Glasswing, инициативе, где их закрытая модель Claude Mythos ищет уязвимости в критически важном ПО: 🔹 Просканировано >1000 open-source проектов 🔹 Найдено 23 019 проблем 🔹 Из них 6202 high/critical 🔹 Более 90% проверенных находок оказались настоящими уязвимостями Mythos не просто помогает человеку искать баги, он автономно работает как исследователь безопасности: анализирует код, находит zero-day, строит цепочки эксплуатации и даже генерирует exploit path...

С появлением агентских систем prompt injection начинает напоминать полноценный malware lifecycle, где вредоносное воздействие закрепляется, распространяется и приводит к реальным действиям в инфраструктуре. ⚙️ От одного prompt к полной компрометации Современные AI-агенты больше не ограничиваются диалогом. Они работают с: 🔹 MCP/tool calling 🔹 long-term memory 🔹 RAG и внешними документами 🔹 API и SaaS-интеграциями 🔹 filesystem и runtime actions Это означает, что prompt перестаёт быть просто текстом, он начинает работать как операционный payload, способный менять поведение всей системы...

Большинство SAST движков работают через data flow analysis (DFA). Система пытается ответить вопрос, может ли пользовательский input добраться до опасной операции? Однако built-in rules часто знают только «популярные» фреймворки и ограниченный набор propagation patterns. Если используются нестандартные framework или кастомные wrapper, то flow фактически исчезает из анализа. 🧠 LLM как переводчик Исследователи решили использовать LLM для автоматического обнаружения sources и sinks внутри open-source framework’ов...

? Немного ликбеза: Skills - это структурированные пакеты процедурных знаний для LLM-агентов. Этакий внешний слой опыта как искать уязвимость, как проводить triage, как выполнять exploitation workflow, какие шаги делать дальше. Обычно это выглядит как: 🔹 инструкции (SKILL.md) 🔹 attack templates 🔹 best practices 🔹 lessons learned 🔹 procedural playbook’и Вместо того чтобы каждый раз «изобретать» exploitation path, агент получает готовый operational memory. 🧪 Эксперименты Исследователи взяли...

cve-lite-cli - open-source command-line tool, который упрощает создание и сопровождение CVE-записей. Инструмент превращает vulnerability disclosure в developer-friendly workflow. Вместо ручной возни с CVE JSON schema и форматами теперь можно работать через обычный CLI. Создание записи выглядит, как работа с git: 🔹 создать draft CVE 🔹 заполнить vulnerability metadata 🔹 добавить affected products 🔹 описать impact и remediation 🔹 обновить или опубликовать запись 🧠 Автоматизация Технически инструмент работает поверх CVE Record Format (JSON 5...

Сегодня на обзоре Promptfoo: open-source framework для red teaming и security testing AI-приложений. Инструмент работает как automated evaluation pipeline для LLM-систем. Вы описываете: 🔹 prompt’ы 🔹 модели 🔹 attack cases 🔹 expected behavior 🔹 security assertions Promptfoo начинает системно ломать вашу AI-систему, запуская батарею adversarial тестов. 🧠 Основные фичи Решение строится вокруг evaluation-as-code. Тесты описываются декларативно (YAML/JSON), что благодаря чему проверки становятся воспроизводимыми и кастомизируемыми...

Ещё недавно казалось, что AI-assisted vulnerability research является очевидным благом. Модель анализирует код, находит больше багов, безопасность растёт. Но AI научился производить потенциальные уязвимости быстрее, чем люди успевают их проверять. ⚙️ Discovery ускорился, а validation нет Современные LLM действительно неплохо помогают в vulnerability research. Они умеют: 🔹 быстро проходить по large codebase 🔹 искать suspicious execution paths 🔹 сопоставлять API interactions 🔹 строить exploit...