🚨 ChatGPT в роли эксперта по уязвимостям: надежный помощник или генератор бреда

🚨 ChatGPT в роли эксперта по уязвимостям: надежный помощник или генератор бреда?

Может ли ИИ стать настоящим помощником в расследованиях уязвимостей? 🕵️‍♂️

Исследователи решили это выяснить и провели масштабный эксперимент с ChatGPT, чтобы понять, способен ли LLM создавать правдоподобные отчёты об уязвимостях, распознавать поддельные CVE и идентифицировать настоящие.

🧪 Эксперимент: настоящее против подделки

Исследователи составили датасет из:

🔐 100 настоящих CVE с GitHub Security Advisories (GHSA)

👻 100 поддельных CVE, сгенерированных по формату, но не существующих

Модель ChatGPT должна была:

➖Сгенерировать описание уязвимости по CVE-ID

➖Выяснить, фейковый ID или реальный

➖Определить ID по описанию уязвимости

📊 Результаты

💬 Генерация описаний:

✅ 96% описаний по реальным CVE выглядели достоверно

⚠️ 97% описаний по поддельным CVE тоже выглядели... достоверно

👉 Иными словами, ChatGPT мастерски выдумывает убедительные описания даже к фейковым ID. Обычный разработчик или аналитик может не заподозрить подвох.

🔍 Проверка подлинности:

❌ Модель не распознала ни одного поддельного CVE. 0% успеха в выявлении фейков.

🔄 Обратная проверка (по описанию → CVE-ID):

🎯 Только 6% описаний привели к правильному ID

💣 Безопасность должна быть безопасной

ChatGPT — мощный инструмент, но с очень специфическим предназначением. Его описания уязвимостей звучат убедительно, даже когда они полностью вымышлены. Это создаёт ложное чувство уверенности и может быть использовано злоумышленниками для распространения фальшивых угроз.

Риски:

🪤 Исследователь или разработчик видит убедительное описание “CVE-2024-12345”

🤖 Оно создано ChatGPT, но CVE не существует

📉 Время тратится зря, решения принимаются на основе несуществующей уязвимости

🛠 Выводы и рекомендации

➖LLM ≠ база данных

ChatGPT не подключён к CVE-реестру и может "галлюцинировать" уязвимости.

➖Только ручная верификация

Все отчёты, сгенерированные LLM, должны проверяться специалистом или системой валидации.

➖Нужна интеграция с актуальными CVE-базами

Без этого использование LLM в критических задачах — игра в русскую рулетку.

📎 Где прочитать оригинальное исследование?

🔗 arXiv:2506.13161v1

🧪 Исходный код и данные: GitHub проекта

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #LLM #CVE #Cybersecurity #VulnerabilityManagement #ChatGPT #Infosec #AItrust #FakeCVE #ThreatIntel #AISecurity