SecureTechTalks

Теперь боты учатся обманывать LLM Соцсети всё чаще используют LLM для поиска ботов. Модель читает профиль, историю публикаций и пытается понять, перед ней человек или автоматизированный аккаунт. Проблема начинается в тот момент, когда атакующий понимает, как работает детектор. ⚙️ Достаточно переписать запрос Исследователи из Reichman University проверили три open source модели: Llama 3 8B, Gemma 7B и Mistral 7B. Они использовали два класса атак. 🔹 Content Manipulation: AI переписывает публикации бота так, чтобы они выглядели более естественно...

Coding-агенты (Claude Code, Codex и т.д.) умеют самостоятельно выполнять shell-команды, устанавливать зависимости и менять файлы. Если агент получит prompt injection то, последствия могут быть крайне печальными. OpenSource продукт Hazmat ограничивает агента на уровне операционной системы. ⚙️ Немного деталей Агент запускается от отдельного пользователя "agent", поэтому не получает ваш "$HOME", SSH-ключи и credentials. Дополнительно используются: 🔹 macOS Seatbelt для ограничения доступа к файловой...

Но что будет, если кода больше нет? Исследователи из Columbia, Berkeley, UCLA, Tufts и других организаций представили SRE-Bench, бенчмарк, созданный специально для проверки того, насколько AI-агенты способны разбирать неизвестные бинарники, а не узнавать уже знакомый проект из обучающих данных. ⚙️ Больше никакого «угадай, что это за программа» Авторы сделали 19 программ с нуля, общей сложностью более 320 000 строк кода. Внутри пять типов задач: 🔹 сетевые протоколы; 🔹 firmware; 🔹 игровые приложения; 🔹 собственные форматы файлов; 🔹 безопасная имитация malware...