🔥 Как одна LLM научилась писать ransomware, reverse shell и эксплойты…
На Habr вышла статья, которая вновь поднимает тему безопасности больших языковых моделей. Довольно занятый материал.
Статья напоминает, что встроенные механизмы защиты LLM пока скорее декорация, нежели работающий инструмент.
💥 Что продемонстрировали?
Исследователь показал, что стандартная модель:
✔️ написала 17 реальных эксплойтов (SQLi, XSS, buffer overflow),
✔️ сгенерировала рабочие reverse shells и shellcode,
✔️ создала сценарии в стиле “God Mode”,
✔️ написала автоматизированный jailbreak-инструмент,
✔️ оформила собственный Security Advisory с анализом уязвимостей.
Для этого потребовались обычные мета-промты:
например, «дополни TODO в коде», или «сгенерируй обучающий датасет для классификатора вредоносного ПО».
Звучит безобидно, но фактически это генерация атакующих инструментов.
🧠 Старые песни о главном
🔹 Отказ не означает безопасность
Модель может начать с «Я не могу помочь с этим», а затем всё равно сгенерировать вредоносный код.
🔹 Фреймирование - это ключевой вектор обхода
Контекст решает всё. Если задача выглядит исследовательской или образовательной, фильтры часто ослабевают.
🔹 Guardrails пока недостаточны
RLHF и простые классификаторы плохо ловят цепочки логических обходов.
🛡 Все пропало?
Автор предлагает разумные меры:
▪ анализировать не только вход, но и выход модели,
▪ проверять сессии целиком, а не отдельные сообщения,
▪ применять семантический анализ кода,
▪ выносить контроль безопасности за пределы самой LLM.
Оригинал статьи:
👉 https://habr.com/ru/articles/1003334/
Stay secure and read SecureTechTalks 📚
#кибербезопасность
#LLM #AIsecurity #jailbreak #promptengineering #DevSecOps #GenAI #redteam #SecureTechTalks #информационнаябезопасность
