Когда ИИ становится троянским конем: 43% «галлюцинированных» имен пакетов регулярно повторяются в сгенерированном коде
• Распространение инструментов генерации кода на базе LLM создает новые риски для цепочки поставок ПО.
• ИИ-помощники для кодирования предлагают код, включающий несуществующие программные пакеты.
• Около 5,2% предложений пакетов от коммерческих моделей не существовало, по сравнению с 21,7% от моделей с открытым исходным кодом.
• Запуск такого кода может привести к ошибке при импорте несуществующего пакета.
• Злоумышленники могут использовать галлюцинации ИИ для создания вредоносных пакетов и распространения их через реестры пакетов.
• Повторный запуск одного и того же запроса, вызывающего галлюцинации, может привести к повторению 43% галлюцинированных пакетов.
• Эксплуатация галлюцинированных имен пакетов является формой тайпосквоттинга.
• Разработчики должны перепроверять результаты LLM перед применением информации на практике.
Подробнее по ссылке https://habr.com/ru/articles/901198/