6 подписчиков
Как сделать чат-бот с RAG безопаснее?
#AI #RAG #нейросеть #MLSecOps
Каждый день появляются решения на базе генеративных моделей, помогающие бизнесу привлекать новых пользователей и удерживать старых. Подход Retrieval augmented generation позволяет вводить в контекст больших языковых моделей (LLM) корпоративные документы, чтобы чат-бот корректнее отвечал на вопросы пользователей. Гарантирует ли добавление документа в контекст, что чат-бот не будет вводить пользователей в заблуждение или отвечать на вопросы про изготовление бомб?
В качестве языковой модели для генерации ответов продолжим использовать open-mixtral-8x22b, а для улучшения атакующих промптов — mistral-large-2411.
Около минуты
14 февраля 2025