Сперва главное:
🔐 Анализ безопасности фреймворков машинного обучения выявил, что программное обеспечение машинного обучения подвержено большему количеству уязвимостей, чем более зрелые категории, такие как DevOps или веб-серверы.
📝 Отчёт JFrog показывает, что в проектах машинного обучения, таких как MLflow, увеличилось количество критических уязвимостей. За последние несколько месяцев JFrog обнаружила 22 уязвимости в 15 проектах машинного обучения с открытым исходным кодом. Среди этих уязвимостей выделяются две категории: угрозы, нацеленные на серверные компоненты, и риски повышения привилегий в рамках фреймворков машинного обучения.
💻 Уязвимости, выявленные JFrog, влияют на ключевые компоненты, часто используемые в рабочих процессах машинного обучения, что может позволить злоумышленникам использовать инструменты, которым доверяют специалисты по машинному обучению за их гибкость, для получения несанкционированного доступа к конфиденциальным файлам или для повышения привилегий в средах машинного обучения.
📌 В целом, отчёт JFrog подчёркивает операционный пробел в области безопасности MLOps. Многие организации не имеют надёжной интеграции методов обеспечения безопасности искусственного интеллекта и машинного обучения с более широкими стратегиями кибербезопасности, оставляя потенциальные слепые зоны. Поскольку искусственный интеллект и машинное обучение продолжают стимулировать значительные достижения в отрасли, защита фреймворков, наборов данных и моделей, которые питают эти инновации, становится крайне важной.
Теперь подробнее:
Недавний анализ безопасности систем машинного обучения (МО) показал, что программное обеспечение МО подвержено большему количеству уязвимостей, чем более зрелые категории, такие как DevOps или веб-серверы.
Растущее внедрение машинного обучения в различных отраслях подчёркивает критическую необходимость обеспечения безопасности систем МО, поскольку уязвимости могут привести к несанкционированному доступу, утечкам данных и компрометации операций.
В отчёте JFrog утверждается, что в таких проектах МО, как MLflow, увеличилось количество критических уязвимостей. За последние несколько месяцев JFrog обнаружила 22 уязвимости в 15 проектах МО с открытым исходным кодом. Среди этих уязвимостей выделяются две категории: угрозы, нацеленные на серверные компоненты, и риски повышения привилегий в рамках фреймворков МО.
Уязвимости, выявленные JFrog, затрагивают ключевые компоненты, часто используемые в рабочих процессах МО, что может позволить злоумышленникам использовать инструменты, которым специалисты по МО доверяют за их гибкость, для получения несанкционированного доступа к конфиденциальным файлам или для повышения привилегий в средах МО.
Одна из выделенных уязвимостей связана с Weave, популярным набором инструментов от Weights & Biases (W&B), который помогает отслеживать и визуализировать показатели модели МО. Уязвимость WANDB Weave Directory Traversal (CVE-2024-7340) позволяет пользователям с ограниченными правами доступа получать доступ к произвольным файлам в файловой системе.
Этот недостаток возникает из-за неправильной проверки входных данных при обработке путей к файлам, что потенциально позволяет злоумышленникам просматривать конфиденциальные файлы, которые могут включать ключи API администратора или другую конфиденциальную информацию. Подобное нарушение может привести к повышению привилегий, предоставляя злоумышленникам несанкционированный доступ к ресурсам и ставя под угрозу безопасность всего конвейера МО.
ZenML, инструмент управления конвейером MLOps, также подвержен критической уязвимости, которая ставит под угрозу его системы контроля доступа. Этот недостаток позволяет злоумышленникам с минимальными правами доступа повышать свои разрешения в ZenML Cloud, управляемом развёртывании ZenML, получая таким образом доступ к ограниченной информации, включая конфиденциальные секреты или файлы моделей.
Проблема контроля доступа в ZenML подвергает систему значительным рискам, поскольку повышенные привилегии могут позволить злоумышленнику манипулировать конвейерами МО, подделывать данные моделей или получать доступ к конфиденциальным операционным данным, что может повлиять на производственные среды, зависящие от этих конвейеров.
Ещё одна серьёзная уязвимость, известная как Deep Lake Command Injection (CVE-2024-6507), была обнаружена в базе данных Deep Lake — решении для хранения данных, оптимизированном для приложений искусственного интеллекта. Эта уязвимость позволяет злоумышленникам выполнять произвольные команды, используя то, как Deep Lake обрабатывает импорт внешних наборов данных.
Из-за ненадлежащей очистки команд злоумышленник может потенциально добиться удалённого выполнения кода, ставя под угрозу безопасность как базы данных, так и любых подключённых приложений.
Также была обнаружена заметная уязвимость в Vanna AI, инструменте, предназначенном для генерации и визуализации SQL-запросов на естественном языке. Внедрение подсказок Vanna.AI (Vanna.AI Prompt Injection, CVE-2024-5565) позволяет злоумышленникам внедрять вредоносный код в подсказки SQL, которые впоследствии обрабатываются инструментом. Эта уязвимость, которая может привести к удалённому выполнению кода, позволяет злоумышленникам нацеливаться на функцию визуализации Vanna AI SQL-to-graph, чтобы манипулировать визуализациями, выполнять SQL-инъекции или экспортировать данные.
Было обнаружено, что у Mage.AI, инструмента MLOps для управления конвейерами данных, есть несколько уязвимостей, включая несанкционированный доступ к оболочке, утечки произвольных файлов и слабые проверки обхода пути.
Эти проблемы позволяют злоумышленникам получить контроль над конвейерами данных, раскрыть конфиденциальные конфигурации или даже выполнить вредоносные команды. Сочетание этих уязвимостей представляет высокий риск повышения привилегий и нарушения целостности данных, ставя под угрозу безопасность и стабильность конвейеров МО.
Получив административный доступ к базам данных или реестрам МО, злоумышленники могут внедрить вредоносный код в модели, что приведёт к появлению бэкдоров, активирующихся при загрузке модели. Это может поставить под угрозу последующие процессы, поскольку модели используются различными командами и конвейерами CI/CD. Злоумышленники также могут экспортировать конфиденциальные данные или проводить атаки отравления моделей, чтобы ухудшить производительность модели или манипулировать результатами.
Выводы JFrog указывают на операционный пробел в области безопасности MLOps. Многим организациям не хватает надёжной интеграции методов обеспечения безопасности ИИ/МО в более широкие стратегии кибербезопасности, что оставляет потенциальные слепые зоны. Поскольку МО и искусственный интеллект продолжают способствовать значительному прогрессу в отрасли, защита фреймворков, наборов данных и моделей, которые подпитывают эти инновации, становится крайне важной.