SecureTechTalks

Современные guardrails работают примитивно, получили запрос, нашли запрещённый паттерн и заблокировали. Однако для AI-агентов этого уже недостаточно. Атаки ушли от простых jailbreak'ов к сложным сценариям с prompt injection, опасными tool calls и постепенной компрометацией reasoning. На GitHub появился SingGuard-NSFA, open-source guardrail, разработанный специально для защиты agentic AI. ⚙️ Чем он отличается от остальных? Вместо одного бинарного решения модель использует двухуровневую архитектуру...

Раньше было достаточно защититься от обычных веб-сканеров. Сегодня этого уже мало. Всё больше компаний используют agentic crawlers, т.е. AI-агентов, которые скачивают страницы, понимают структуру сайта, объединяют информацию из разных разделов, сжимают её и превращают в готовую базу знаний для RAG и LLM. На arXiv вышло исследование Out of Sight, посвящённое защите контента от агентов. ⚙️ Контент стал новой добычей Современный crawler умеет гораздо больше, чем пройтись по ссылкам. Он открывает...

Исследователи представили атаку GhostCommit, где вредоносная инструкция прячется внутри PNG-изображения в Pull Request. Для человека картинка выглядит безобидно, а большинство AI-ревьюеров вообще не анализируют её содержимое. ⚙️ Как работает GhostCommit? Атака использует разрыв между двумя типами AI-инструментов. Сначала Pull Request проходит проверку AI-ревьюером, который анализирует только текстовые изменения и пропускает изображение. Позже другой AI-агент, уже работающий с репозиторием целиком, открывает PNG, извлекает скрытую инструкцию и начинает выполнять её как часть своей задачи...

Большинство тестов безопасности проверяют LLM просто задавая опасный запрос и проверяя, откажется ли модель его исполнять. Однако исследователи показали, что для coding-агентов такой подход больше не работает. Оказывается, агент может уверенно отказаться выполнять вредоносный запрос в чате, а затем самостоятельно собрать тот же результат в процессе обычной разработки. ⚙️ Как работает jailbreak? Исследователи разбили опасную задачу на цепочку привычных действий IDE-агента: 🔹 чтение файлов проекта;...