🧠 ИИ и оценка уязвимостей: революция или скам

🧠 ИИ и оценка уязвимостей: революция или скам?

Исследователи проверили, могут ли современные большие языковые модели независимо оценивать уязвимости, то есть определять их критичность по описанию.

📊 Как тестировали?

Команда прогнала 31 000+ CVE-описаний через шесть крупных LLM:

• GPT-4o

• GPT-5

• Llama 3.3

• Gemini 2.5 Flash

• DeepSeek R1

• Grok 3

❗️Модели оценивали исключительно текст описания уязвимости. Им не давали:

✔ названия продуктов,

✔ версий ПО,

✔ идентификаторы CVE,

✔ данные поставщиков

Это было сделано специально, чтобы исключить «поиск по шаблону» и заставить ИИ логически рассуждать на основе текста.

То есть задача была не просто прочитать описание, а воссоздать ключевые метрики CVSS, которые определяют приоритет реагирования на уязвимость.

🧩 Где ИИ эффективен?

Модели показали лучшие результаты там, где язык описания был прямолинейным и содержал явные сигналы:

🔹 Attack Vector (находится ли уязвимость в сети или локально). Примерно 89% точности у Gemini и GPT-5.

🔹 User Interaction (нужен ли пользовательский ввод/клик для эксплуатации). Схожие результаты.

Такие аспекты часто прямо указаны в описаниях CVE.

Кроме того:

🔸 Confidentiality Impact (угроза утечки данных) и

🔸 Integrity Impact (изменение данных)

тоже были оценены достаточно успешно. GPT-5 показывал 70+ % точности здесь.

👉 То есть когда модель видит явные сигналы в тексте, она может прилично предсказывать, что именно представляет собой уязвимость. Это может помочь аналитикам быстро отсеивать тривиальные случаи.

😬 Где ИИ слаб

Явные ограничения:

❗ Availability Impact (влияние на доступность системы). Результаты чуть ниже (≈68 % у GPT-5), потому что описания редко точно объясняют, насколько нарушение службы критично.

❗ Privileges Required (необходимые привилегии). Модели путают «отсутствие» и «низкий уровень», потому что тексты часто не содержат чётких указаний.

❗ Attack Complexity  предугадывается плохо, в основном из-за перекоса данных в сторону «низкой сложности».

📌 Анализ ошибок также показал:

29 % CVE были неправильно оценены всеми моделями одновременно по Availability Impact.

В других метриках 4 из 6 моделей согласовывались в неправильных ответах до 36 % случаев, что говорит о систематической ошибке, а не случайности.

🤝 Ансамбли моделей

Исследователи попробовали объединить предсказания всех шести моделей в meta classifier. Это дало небольшие улучшения, но не решило фундаментальной проблемы:

отсутствие информации в описании всё ещё мешает точному пониманию угрозы.

🧠 Контекст наше всё

Самый важный вывод исследования:

👉 LLM могут быть полезны для предварительной оценки, но на текущий момент они не заменят человека или полноценные системы анализа контекста и метаданных.

🔗 Оригинал исследования: LLMs can assist with vulnerability scoring, but context still matters.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AIsecurity #LLMs #CVE #VulnerabilityAssessment #CyberSecurity #Infosec #AIinSec #ThreatIntel #ContextMatters #AutomationLimits #CyberResearch