SecureTechTalks

Инженеры из Avast выпустили open-source инструмент SAGE, фреймворк для автоматизированного тестирования безопасности LLM-приложений. 🧠  О чем речь? SAGE (Security Assessment Generation Engine) - open-source платформа, которая помогает находить уязвимости в LLM-системах. Другими словами, это red team для AI, который позволяет моделировать атаки на: 🔹 чат-ботов 🔹 AI-агентов 🔹 RAG-системы 🔹 LLM-ассистентов внутри корпоративных сервисов SAGE генерирует вредоносные промпты, запускает сценарии атак и анализирует реакцию моделей...

Кажется очевидным: если сотрудников обучают кибербезопасности, общий уровень защиты должен расти. Новое исследование показывает неожиданный эффект: security awareness на работе может сужать восприятие угроз и снижать внимание к безопасности вне работы. Исследователи опросили 1200 человек из США, Великобритании, Германии и Франции, чтобы понять, где люди узнают о киберугрозах и как делятся этой информацией. 🧠 Откуда люди узнают о кибербезопасности Топ источников: 1️⃣ Работодатель — 22% 2️⃣ Веб-сайты...

AI-браузеры, такие как Perplexity Comet, уже не просто показывают страницы. Они интерпретируют команды, сохраняют контекст авторизации и выполняют действия на устройстве и в приложениях от вашего имени. Это круто, но страшно с точки зрения безопасности. Исследователи из Zenity Labs обнаружили критическую семью уязвимостей под названием PleaseFix, а в её составе подвох, который назвали PerplexedBrowser. Уязвимости позволяют злоумышленникам подчинить AI-агента и использовать его привилегии без вашего взаимодействия...

Когда AI-агенты начинают работать с инструментами через MCP (Model Context Protocol), они перестают быть «чатом» и становятся частью инфраструктуры. 📂 Файлы 🔑 Токены 🚀 CI/CD ☁️ Облачные API Всё это оказывается в зоне досягаемости модели. Компания Trail of Bits выпустила open-source инструмент mquire, нацеленный на аудит безопасности MCP-серверов. ⚠️ В чём проблема MCP-сервер - это слой, через который агент получает доступ к инструментам. Другими словами - это точка расширения возможностей LLM...

На arXiv вышла работа " Cybersecurity Data Extraction from Common Crawl". Авторы решают практичную задачу: как собрать специализированный pretraining-датасет по кибербезопасности, не прогоняя через классификатор весь интернет. 🚨 В чём проблема Современные LLM обучаются на гигантских массивах данных вроде: ➖Common Crawl ➖The Pile ➖C4 ➖FineWeb Это огромные сборники текстов из интернета на самые разные темы. Они отлично подходят для «общего интеллекта», но если вам нужна модель, которая глубоко...

AI-агенты всё чаще получают реальный доступ к инфраструктуре: читают репозитории, ходят в интернет, вызывают API, запускают код, взаимодействуют с файлами и секретами. Удобно, но не безопасно. 🚨 В чём риск AI-агент уже не просто модель, а исполняющая система. Агент: ➖принимает входные данные извне ➖может использовать инструменты ➖выполняет действия ➖работает с локальными и удалёнными ресурсами Добавьте prompt injection, вредоносный контент в документах или неожиданные tool-calls и вы получаете новый класс атак...

Вышел интересный препринт на arXiv “Learning Unknown Interdependencies for Decentralized Root Cause Analysis in Nonlinear Dynamical Systems” (arXiv:2602.21928v1). Исследователи предлагают способ находить первопричину инцидента в распределённой промышленной системе… не имея доступа к сырым данным. Звучит как невозможное? Разберёмся. 👇 🏭 В чём суть проблемы Представьте несколько заводских установок, которые связаны между собой. Если одна «ломается», сбой может распространиться на остальные....

… На Habr вышла статья, которая вновь поднимает тему безопасности больших языковых моделей. Довольно занятый материал. Статья напоминает, что встроенные механизмы защиты LLM пока скорее декорация, нежели работающий инструмент. 💥 Что продемонстрировали? Исследователь показал, что стандартная модель: ✔️ написала 17 реальных эксплойтов (SQLi, XSS, buffer overflow), ✔️ сгенерировала рабочие reverse shells и shellcode, ✔️ создала сценарии в стиле “God Mode”, ✔️ написала автоматизированный jailbreak-инструмент, ✔️  оформила собственный Security Advisory с анализом уязвимостей...

Иногда мы слишком верим в зрелость технологий. Если проекту десятки лет и им пользуется весь мир, то кажется, что там уже всё найдено. За месяц целенаправленного поиска в ядре Linux исследователи обнаружили 200 ошибок. В ядре, Карл! Ядро это управление памятью, процессами, драйверами, файловыми системами и сетевым стеком. Ошибка на этом уровне является потенциальным LPE, memory corruption или DoS на уровне хоста. 🔎 Большинство проблем нашли в драйверах, редко используемых подсистемах и местах, где код годами не подвергался глубокому аудиту...

Если у вас Kubernetes и вы устали собирать картину инцидентов из Prometheus, Grafana и логов, стоит обратить внимание на Coroot. 🧩 Что это? Coroot - self-hosted observability-платформа для Kubernetes, которая через eBPF собирает сетевые и системные данные и пытается автоматически показать root cause проблемы. 🏗 Где будет полезен? Инструмент особенно полезен, если у вас: ⚙️ десятки микросервисов и сложные зависимости 📈 периодические latency-спайки без явной причины 💥 OOM, CPU starvation, retry-штормы...

Сервисы «падают» всегда неожиданно, но когда вы узнаёте об этом от клиента, то это уже управленческий провал. 🚨 Что за инструмент? Uptime Kuma - это self-hosted система мониторинга аптайма. По сути, аналог SaaS-решений вроде UptimeRobot или Pingdom, только без передачи данных третьим лицам. Вы сами разворачиваете инструмент в Docker или на сервере и можете контролировать: 🌐 доступность сайтов 🔐 API-эндпоинты 🖥 TCP/HTTP(S) сервисы 🗄 базы данных 📡 DNS, MQTT, Steam-серверы и многое другое ...

🧩 Представьте себе, кто-то получил доступ к сценарию поведения вашего автономного агента, заглянул в его настройки, понял, как он «думает», и начал им управлять. Звучит абсурдно, но прецедент уже был 😢. 🧠 Где скрыта уязвимость Современные агенты хранят не только код, но и правила интерпретации: роли, сценарии, шаблоны действий. Получил доступ к этим артефактам и ты уже не просто похититель секретов, ты архитектор чужих решений. Меняешь формулировки - корректируешь поведение. Агент начинает выполнять действия не по заданной политике, а согласно новым указаниям...