SecureTechTalks

OpenAI представили Presence, новую платформу для запуска корпоративных AI-агентов. Вместо того чтобы дать компании LLM и API, OpenAI начинают поставлять практически готовую операционную среду для автономных агентов. ⚙️ Агент как бизнес-процесс Presence - не новая модель, а инфраструктура вокруг неё. В одном продукте объединены: 🔹 корпоративные политики и SOP; 🔹 управление правами и разрешёнными действиями; 🔹 guardrails; 🔹 симуляции рабочих сценариев; 🔹 автоматическая оценка качества работы; 🔹 механизмы эскалации человеку...

История с атакой на Hugging Face получила неожиданное продолжение. OpenAI раскрыла, что за инцидентом, который ранее считался первой автономной атакой AI-агента, стояли две её собственные модели, GPT-5.6 Sol и более мощная предрелизная LLM. ⚙️ Как так получилось? Во время тестирования моделей на бенчмарке ExploitGym исследователи временно отключили стандартные ограничения, чтобы оценить реальные offensive-возможности моделей. Агенты должны были искать способы эксплуатации уязвимостей в изолированной лаборатории...

PR3TACK пытается предсказать будущее Обычно защита встраивается по уже известным атакам. Сначала злоумышленники находят новый способ компрометации, затем появляются отчёты. Далее техника попадает в MITRE ATT&CK, и только потом команды начинают писать правила детектирования. Авторы нового open-source проекта PR3TACK (Preemptive Tactics & Countermeasures Knowledgebase) предлагают перевернуть эту модель. Вместо каталога уже наблюдавшихся TTP они собирают правдоподобные, но ещё не встречавшиеся в реальных атаках техники, чтобы защиту можно было готовить заранее...

На днях Hugging Face опубликовали разбор реального инцидента, где атака, по данным компании, была выполнена автономной агентной системой. ⚙️ Как удалось проникнуть? Точкой входа стал пайплайн обработки датасетов. Злоумышленники использовали сразу два механизма выполнения кода: загрузчик датасетов с возможностью удалённого исполнения и template injection в конфигурации датасета. После получения доступа агент автоматически повысил привилегии, собрал облачные учётные данные и начал lateral movement между внутренними кластерами...

На arXiv вышла работа Composable Trust for Language Models, где авторы предлагают отказаться от идеи «исправить модель», а вместо этого предланают изменить архитектуру агентных систем. ⚙️ Граница доверия становится частью архитектуры Авторы вводят понятие Composable Trust, формальной границы доверия (trust boundary), которая задаётся для каждого компонента пайплайна вокркг LLM. Например: 🔹 RAG может предоставлять информацию, но не инициировать tool calls; 🔹 системный промпт имеет право задавать...