SecureTechTalks

У AI-агентов появляется новый класс атак, который сложно заметить обычными security-проверками. Convergent Detour Hijacking (CDH) не заставляет агента провалить задачу. Наоборот, агент приходит к правильному результату, но по специально навязанному обходному и безумно дорогому маршруту. Представьте задачу: «найти уязвимость в приложении и подготовить отчёт.» Нормальный агент: recon → test → analyze → report После атаки: recon → test → verify → re-check → reproduce → validate → compare → retry → analyze → report Каждый шаг выглядит разумным...

Разработчики Anthropic, OpenAI и Google специально прячут chain-of-thought. Пользователь получает только краткое summary, а полное reasoning API возвращает в виде зашифрованного блока, который клиент должен передать обратно при следующем запросе. Звучит безопасно? Спойлер - нет. Исследователи из Tübingen, Max Planck, MATS и Snyk показали, что если взять такой блок от сильной модели и передать его более слабой модели того же провайдера, слабую модель можно заставить расшифровать и вывести исходный reasoning практически дословно...

Реальных CVE не так много, их сложно воспроизводить, а превращение каждой уязвимости в полноценную тренировочную задачу требует ручной работы. Исследователи из NIST и University of Maryland предложили новый подход, CyberForge. ⚙️ Уязвимости создаются искусственно CyberForge берёт реальные C/C++ проекты из OSS-Fuzz и специально вносит в них небольшие изменения, превращающие обычный код в уязвимый. Система принимает уязвимость только если одновременно выполняются два условия: 🔹 исходные unit-тесты...