🛡 Компания Protect AI недавно выпустила три инструмента для обеспечения безопасности LLM в формате open-source. Инструменты помогут защитить AI-модели от различных угроз и упростят управление уязвимостями в процессе разработки.
1. NB Defense — расширение для JupyterLab и CLI-инструмент для управления уязвимостями, интегрированное прямо в среду разработки моделей AI. Оно обеспечивает раннее обнаружение уязвимостей и предоставляет контекстные рекомендации для их устранения.
2. ModelScan — сканирует Pytorch, Tensorflow, Keras и другие форматы на предмет атак сериализации, кражи учетных данных, отравления данных и моделей.
3. Rebuff — предназначен для защиты от атак с быстрым внедрением (PI), при которых злоумышленник отправляет вредоносные промты в LLM. Система использует четыре уровня защиты: эвристический, который отфильтровывает потенциально вредоносные входные данные до того, как они достигнут модели; специальный LLM, который анализирует входящие запросы для выявления потенциальных атак; база данных известных атак, которая помогает в дальнейшем распознавать и отражать известные атаки; и канареечные токены, которые изменяют запросы для обнаружения утечек.
👮♂ Эти инструменты помогут вам повысить безопасность AI и ML систем, снизить риски и поддержать инновации без ущерба для безопасности данных.
Stay secure and read SecureTechTalks 📚
#LLM #opensource #protection
