Исследователи безопасности из компании JFrog обнаружили вредоносный код, встроенный в материалы, представленные на Hugging Face, популярной платформе для разработчиков ИИ, которую часто называют "GitHub для ИИ".
Согласно отчету, около 100 работ на Hugging Face содержали скрытые действия, которые представляли угрозу безопасности при загрузке на пользовательские устройства. Хотя большинство из них выглядели безобидно и служили для проверки концепции, исследователи выявили 10 моделей, которые были признаны "по-настоящему вредоносными", ставящими под угрозу безопасность пользователей при загрузке.
Особое беспокойство вызвала модель, которая инициировала Reverse Shell, предоставляя удаленный доступ к устройству пользователя. Хотя модель не выполняла дальнейших действий в контролируемой среде JFrog, последствия такого эксплойта весьма серьезны и могут привести к масштабным утечкам данных или корпоративному шпионажу.
Вредоносные модели использовали формат сериализации pickle - известную уязвимость, позволяющую злоумышленникам выполнять произвольный код в процессе десериализации. Несмотря на усилия Hugging Face по обнаружению и смягчению последствий подобных угроз, исследователи обнаружили пробелы в мерах безопасности платформы.