SecureTechTalks

Статья с таким заголовком вышла на arxiv.org OpenClaw стал слишком мощным. Теперь исследователи учат людей, как от него защищаться 😁 Авторы утверждают, что OpenClaw уже превратился из «прикольного open-source агента» в систему, которая может автономно выполнять длинные задачи, принимать решения и использовать инструменты почти как junior инженер. 👤Пользователь, как главная уязвимость AI-агентов Человек даёт агенту слишком много свободы: ❌ запускает OpenClaw с root/admin правами ❌ разрешает...

Федеративное обучение всё чаще рассматривают для задач ИБ: 🔹 обнаружение атак 🔹 антифрод 🔹 анализ телеметрии SOC 🔹 поиск аномалий Компании не готовы делиться сырыми логами, сетевым трафиком и инцидентами. Вместо централизации данных модель обучается распределённо. ⚙️ Как работает федеративное обучение? Типовая схема выглядит следующим образом: 1⃣ сервер рассылает базовую модель 2⃣ участники обучают её локально на своей телеметрии; 3⃣ наружу уходят только обновления весов, эмбединги и...

Большинство защит LLM работают довольно прямолинейно: 🔹 анализируют prompt 🔹 ищут подозрительные шаблоны 🔹 смотрят на внутренние представления модели 🔹 пытаются вычислить «опасное» пространство признаков Однако вполне легитимный запрос вроде: «объясни, как работает анализ вредоносного ПО» фиксируется, как подозрительный просто из-за словаря, а реально вредоносный промпт успешно выполняется. ⚙️ Анализ движения внутри модели В новой работе Manifold Trajectory Kinetics (MTK) исследователи предлагают сформироваться  на том, как запрос эволюционирует внутри модели...

На arXiv вышла работа, где исследователи решили собрать benchmark для атак на AI-агентов и системно проверить, что реально помогает против prompt injection. ⚙️ 847 способов сломать агента Авторы собрали 847 adversarial test cases для RAG-агентов и разбили атаки на несколько категорий: 🔹 прямой prompt injection 🔹 подмена контекста 🔹 override инструкций 🔹 эксфильтрация данных 🔹 «загрязнение» контекста между сессиями Далее все прогоняли через реалистичные сценарии, например: вредоносный документ → попадание в RAG → извлечение в prompt → изменение поведения агента → вызов инструментов...

В Android начали разворачивать функцию Scam Detection. Система анализирует паттерны разговора в реальном времени и пытается заметить признаки телефонного мошенничества: 🔹 просьбы срочно перевести деньги 🔹 требования сообщить PIN, пароль или OTP 🔹 давление в стиле «действуйте немедленно» 🔹 попытки заставить установить приложение 🔹 просьбы отключить защиту устройства Если разговор начинает напоминать известные fraud-сценарии, то Android показывает live warning прямо во время вызова. 🧠 Техническая...