Эксперимент исследователя безопасности выявил критическую уязвимость в процессе разработки программного обеспечения — возможность генеративного ИИ внедрять поддельные пакеты в реальный код.
Бар Ланьядо из Lasso Security создал несуществующий пакет Python под названием «huggingface-cli». Он заметил, что модели генеративного ИИ неоднократно «галлюцинировали» это имя пакета при запросах пользователей, то есть советовали их. Чтобы проверить, как это отразится на реальном мире, Ланьядо разместил фальшивый пакет в индексе пакетов Python (PyPI).
Результаты оказались… интересными. Крупные компании, Alibaba например, включили несуществующий пакет в свою документацию. В инструкции к GraphTranslator от Alibaba ошибочно указано «pip install huggingface-cli» как метод установки легитимного инструмента от Hugging Face. К счастью, творение Ланьядо оказалось безвредным, но потенциальные последствия его использования не могут не пугать.
Если бы поддельный пакет содержал вредоносное ПО, тысячи разработчиков, загрузивших его, могли бы неосознанно скомпрометировать свои системы.