SecureTechTalks

Инженеры из Avast выпустили open-source инструмент SAGE, фреймворк для автоматизированного тестирования безопасности LLM-приложений. 🧠  О чем речь? SAGE (Security Assessment Generation Engine) - open-source платформа, которая помогает находить уязвимости в LLM-системах. Другими словами, это red team для AI, который позволяет моделировать атаки на: 🔹 чат-ботов 🔹 AI-агентов 🔹 RAG-системы 🔹 LLM-ассистентов внутри корпоративных сервисов SAGE генерирует вредоносные промпты, запускает сценарии атак и анализирует реакцию моделей...

Кажется очевидным: если сотрудников обучают кибербезопасности, общий уровень защиты должен расти. Новое исследование показывает неожиданный эффект: security awareness на работе может сужать восприятие угроз и снижать внимание к безопасности вне работы. Исследователи опросили 1200 человек из США, Великобритании, Германии и Франции, чтобы понять, где люди узнают о киберугрозах и как делятся этой информацией. 🧠 Откуда люди узнают о кибербезопасности Топ источников: 1️⃣ Работодатель — 22% 2️⃣ Веб-сайты...

AI-браузеры, такие как Perplexity Comet, уже не просто показывают страницы. Они интерпретируют команды, сохраняют контекст авторизации и выполняют действия на устройстве и в приложениях от вашего имени. Это круто, но страшно с точки зрения безопасности. Исследователи из Zenity Labs обнаружили критическую семью уязвимостей под названием PleaseFix, а в её составе подвох, который назвали PerplexedBrowser. Уязвимости позволяют злоумышленникам подчинить AI-агента и использовать его привилегии без вашего взаимодействия...

Когда AI-агенты начинают работать с инструментами через MCP (Model Context Protocol), они перестают быть «чатом» и становятся частью инфраструктуры. 📂 Файлы 🔑 Токены 🚀 CI/CD ☁️ Облачные API Всё это оказывается в зоне досягаемости модели. Компания Trail of Bits выпустила open-source инструмент mquire, нацеленный на аудит безопасности MCP-серверов. ⚠️ В чём проблема MCP-сервер - это слой, через который агент получает доступ к инструментам. Другими словами - это точка расширения возможностей LLM...

На arXiv вышла работа " Cybersecurity Data Extraction from Common Crawl". Авторы решают практичную задачу: как собрать специализированный pretraining-датасет по кибербезопасности, не прогоняя через классификатор весь интернет. 🚨 В чём проблема Современные LLM обучаются на гигантских массивах данных вроде: ➖Common Crawl ➖The Pile ➖C4 ➖FineWeb Это огромные сборники текстов из интернета на самые разные темы. Они отлично подходят для «общего интеллекта», но если вам нужна модель, которая глубоко...