SecureTechTalks

История с атакой на Hugging Face получила неожиданное продолжение. OpenAI раскрыла, что за инцидентом, который ранее считался первой автономной атакой AI-агента, стояли две её собственные модели, GPT-5.6 Sol и более мощная предрелизная LLM. ⚙️ Как так получилось? Во время тестирования моделей на бенчмарке ExploitGym исследователи временно отключили стандартные ограничения, чтобы оценить реальные offensive-возможности моделей. Агенты должны были искать способы эксплуатации уязвимостей в изолированной лаборатории...

PR3TACK пытается предсказать будущее Обычно защита встраивается по уже известным атакам. Сначала злоумышленники находят новый способ компрометации, затем появляются отчёты. Далее техника попадает в MITRE ATT&CK, и только потом команды начинают писать правила детектирования. Авторы нового open-source проекта PR3TACK (Preemptive Tactics & Countermeasures Knowledgebase) предлагают перевернуть эту модель. Вместо каталога уже наблюдавшихся TTP они собирают правдоподобные, но ещё не встречавшиеся в реальных атаках техники, чтобы защиту можно было готовить заранее...

На днях Hugging Face опубликовали разбор реального инцидента, где атака, по данным компании, была выполнена автономной агентной системой. ⚙️ Как удалось проникнуть? Точкой входа стал пайплайн обработки датасетов. Злоумышленники использовали сразу два механизма выполнения кода: загрузчик датасетов с возможностью удалённого исполнения и template injection в конфигурации датасета. После получения доступа агент автоматически повысил привилегии, собрал облачные учётные данные и начал lateral movement между внутренними кластерами...

На arXiv вышла работа Composable Trust for Language Models, где авторы предлагают отказаться от идеи «исправить модель», а вместо этого предланают изменить архитектуру агентных систем. ⚙️ Граница доверия становится частью архитектуры Авторы вводят понятие Composable Trust, формальной границы доверия (trust boundary), которая задаётся для каждого компонента пайплайна вокркг LLM. Например: 🔹 RAG может предоставлять информацию, но не инициировать tool calls; 🔹 системный промпт имеет право задавать...

OpenAI представили GPT-RED, новую модель, предназначенную для автоматического тестирования AI-систем на устойчивость к prompt injection и другим атакам. Вместо ручного написания jailbreak-промптов GPT-RED самостоятельно генерирует тысячи вариантов атакующих сценариев и оценивает, какие из них действительно приводят к компрометации модели. ⚙️ Динамический подбор GPT-RED действует как автономный red team. На вход он получает описание целевой системы и её политики безопасности, после чего строит цепочки атак, постепенно адаптируя их под ответы модели...