SecureTechTalks

Исследователи представили JUMP, метод, который позволяет определить, попал ли конкретный текст в обучающий датасет diffusion модели. ⚙️ Что такое diffusion LLM? ChatGPT генерирует текст последовательно, токен за токеном. Diffusion модель может получить текст с пропущенными фрагментами и восстанавливать несколько токенов одновременно. Эту особенность авторы превратили в инструмент для privacy атак. 🧠 Как работает JUMP Исследователь берёт исходную модель и её версию после fine tuning. Затем скрывает...

AI агенту достаточно одной вредоносной инструкции, чтобы начать читать секреты, ставить подозрительные пакеты или выполнять опасные команды. ⚙️ Функционал HOL Guard - Open-source антивирус для агентов, он анализирует действия Claude Code, Codex, Cursor, Gemini CLI, GitHub Copilot CLI и других агентов. В зоне контроля: 🔹 shell команды и файловые операции; 🔹 доступ к credentials и чувствительным файлам; 🔹 prompt injection; 🔹 MCP серверы и инструменты; 🔹 skills и plugins; 🔹 установку пакетов; 🔹 подозрительные исходящие соединения...

Что произойдёт, если несколько AI агентов получат доступ к одной инфраструктуре, но будут преследовать разные цели? Anthropic решила проверить  экспериментально. Три экземпляра Claude Code получили одну задачу: перенести Python backend на другой язык. Один работал с Rust, второй с Go, третий с TypeScript. Агенты не знали друг о друге и запускались в отдельных VM. Через несколько часов эксперимент превратился в настоящую войну агентов. ⚙️ От конфликта к атаке Агенты обнаружили действия конкурентов и решили, что те намеренно мешают их работе...