Как сделать чат-бот с RAG безопаснее?
Безопасность чат-ботов с RAG
• Подход Retrieval augmented generation позволяет вводить корпоративные документы в контекст LLM для корректных ответов.
• Важно ответственно подходить к защите LLM-систем, независимо от модели или страны происхождения.
Рекомендации экспертов AI Security
• Использовать теги и технику «сэндвича» для инструкций модели.
• Прописывать роли, этические, функциональные и языковые ограничения модели.
• Фильтровать входные и выходные данные с помощью регулярок или LLM-судьи.
Пример самопроверки
• Заложить самопроверку в промпт системы с помощью LLM-судьи.
• Ограничить вопрос пользователя 500 знаками, включая латинские и кириллические буквы, знаки препинания, цифры и пробелы.
Тестирование уязвимостей
• Запустить тестирование уязвимостей с помощью LLAMATOR.
• Система не поддалась на провокации по стратегии Crescendo.
• Фильтрация запросов уменьшает вероятность успеха атаки.
Выводы и рекомендации
• Простые техники промптинга и обработки запросов делают RAG-систему менее чувствительной к атакам.
• Для большей уверенности можно подключать системы мониторинга и постоянно тестировать LLM-системы.
• LLAMATOR позволяет добавлять собственные тесты.
1 минута
17 марта 2025