21 подписчик

🧠 Open source проекты начали отказываться от LLM при разработке

ВчераВчера

1 мин

Software Freedom Conservancy (SFC) выпустили довольно интересный документ с рекомендациями по использованию LLM в open-source проектах. Спойлер: не стоит использовать генеративный AI там, где важны происхождение кода, лицензирование и безопасность. ⚙️ В чём проблема? SFC отдельно разбирают, что LLM ломают базовые гарантии open-source supply chain. Когда разработчик вставляет сгенерированный код, он часто не знает: 🔹 откуда этот код появился 🔹 на какой лицензии он основан 🔹 не попал ли туда копипаст из GPL/AGPL 🔹 нет ли внутри старых CVE- паттернов 🔹 не повторяет ли модель insecure implementation По сути provenance кода исчезает. А вместе с ним ломается возможность проведения аудита, а при инцидентах становится сложнее понять источник уязвимости. 🧨 Паттерны LLM отлично генерируют рабочий код, но плохо генерируют механизмы защиты. Типичный паттерн, когда функция работает, но модель аудита упрощёна, проверка входных параметров поверхностная, управление секретами отсутствует

Software Freedom Conservancy (SFC) выпустили довольно интересный документ с рекомендациями по использованию LLM в open-source проектах.

Спойлер: не стоит использовать генеративный AI там, где важны происхождение кода, лицензирование и безопасность.

⚙️ В чём проблема?

SFC отдельно разбирают, что LLM ломают базовые гарантии open-source supply chain. Когда разработчик вставляет сгенерированный код, он часто не знает:

🔹 откуда этот код появился

🔹 на какой лицензии он основан

🔹 не попал ли туда копипаст из GPL/AGPL

🔹 нет ли внутри старых CVE- паттернов

🔹 не повторяет ли модель insecure implementation

По сути provenance кода исчезает. А вместе с ним ломается возможность проведения аудита, а при инцидентах становится сложнее понять источник уязвимости.

🧨 Паттерны

LLM отлично генерируют рабочий код, но плохо генерируют механизмы защиты. Типичный паттерн, когда функция работает, но модель аудита упрощёна, проверка входных параметров поверхностная, управление секретами отсутствует.

Это напрямую совпадает с последними исследованиями по vibe coding.

🛡️ Что рекомендуют?

SFC советуют использовать LLM максимально ограниченно:

➖ не принимать код без полного human review

➖ не использовать генерацию для security-sensitive logic

➖ документировать AI-origin code

➖ отдельно прогонять его через аудит

➖ учитывать license contamination risk

Если подытожить, то AI-code теперь предлагают рассматривать как недоверенные сторонние зависимости.

🔗 Статья: https://sfconservancy.org/llm-gen-ai/llm-backed-generative-ai-recommendations.html

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #OpenSource #SupplyChainSecurity #AppSec #SecureCoding #DevSecOps #CyberSecurity #SecureTechTalks