Добавить в корзинуПозвонить
Найти в Дзене
avencores.

PasteGuard: Прокси-сервер для защиты конфиденциальности при работе с LLM

PasteGuard (ранее известный как LLM-Shield) — это специализированный прокси-сервер с открытым исходным кодом, предназначенный для защиты персональных данных при использовании облачных языковых моделей. Он выступает в роли защитного слоя между вашим приложением и API провайдера (например, OpenAI), предотвращая утечку конфиденциальной информации. * Маскирование PII и секретов: Автоматически обнаруживает и заменяет персональные данные (имена, email, телефоны, номера карт, IBAN, IP-адреса) и технические секреты (API-ключи AWS, GitHub, Stripe, приватные ключи, JWT-токены) на безопасные токены-заполнители. * Режим маршрутизации (Route Mode): Уникальная функция, позволяющая перенаправлять запросы, содержащие конфиденциальную информацию, на локальную LLM (например, через Ollama), в то время как обычные запросы уходят в облако. * Совместимость с OpenAI API: Прокси полностью поддерживает формат OpenAI, что позволяет подключать его к популярным инструментам, таким как Cursor, Open WebUI, LangChai
Оглавление

PasteGuard (ранее известный как LLM-Shield) — это специализированный прокси-сервер с открытым исходным кодом, предназначенный для защиты персональных данных при использовании облачных языковых моделей. Он выступает в роли защитного слоя между вашим приложением и API провайдера (например, OpenAI), предотвращая утечку конфиденциальной информации.

Основные возможности

* Маскирование PII и секретов: Автоматически обнаруживает и заменяет персональные данные (имена, email, телефоны, номера карт, IBAN, IP-адреса) и технические секреты (API-ключи AWS, GitHub, Stripe, приватные ключи, JWT-токены) на безопасные токены-заполнители.

* Режим маршрутизации (Route Mode): Уникальная функция, позволяющая перенаправлять запросы, содержащие конфиденциальную информацию, на локальную LLM (например, через Ollama), в то время как обычные запросы уходят в облако.

* Совместимость с OpenAI API: Прокси полностью поддерживает формат OpenAI, что позволяет подключать его к популярным инструментам, таким как Cursor, Open WebUI, LangChain и кастомным скриптам, простым изменением base_url.

* Поддержка 24 языков: Благодаря интеграции с Microsoft Presidio, сервис способен распознавать и анонимизировать данные на множестве языков с автоматическим определением языка запроса.

* Встроенный дашборд: Предоставляет графический интерфейс для мониторинга активности, просмотра обнаруженных сущностей и управления конфигурацией в реальном времени.

Преимущества

* Высокая производительность: Обработка одного запроса занимает всего 10–50 мс при минимальном потреблении оперативной памяти (около 500 МБ для базовой работы).

* Полная анонимность: В режиме маскирования оригинальные данные восстанавливаются только в ответе, который возвращается пользователю, поэтому облачный провайдер никогда не видит реальную информацию.

* Локальный контроль: Возможность развертывания через Docker Compose позволяет держать все процессы анализа данных внутри собственного контура безопасности.

* Простота внедрения: Не требует изменения логики существующих приложений — достаточно изменить адрес эндпоинта.

Скачать с GitHub

⬇️Поддержать автора⬇️

✅SBER: 2202 2050 1464 4675