🔹 Prompt injection: что это и как защититься
🔹 Что ломается, когда модель получает вредоносную инструкцию?
🔸 prompt injection — это инъекция команд в текст запроса, которая может переопределить system message и заставить модель раскрыть секреты или выполнить нежелательные действия.
🔸 Возникает, когда пользовательский ввод попадает в промпт без проверки: логи, файлы, поля формы — всё может содержать инъекцию.
🔸 Простая защита — sanitize: удаляйте строки с явными инструкциями вроде "ignore previous" или "system:" перед вставкой в промпт.
🔸 Держите system message вне пользовательских данных и валидируйте ответы на соответствие политике (утверждённый формат, отказ от выполнения опасных команд).
def sanitize(prompt):
return "\n".join(l for l in prompt.split("\n") if not l.lower().startswith("system:"))
📚 Маленькая привычка: всегда фильтруй и отделяй system message — это простейшая защита от инъекции.
#CODERIKK #Prompt #Middle
Буду рад вашей реакции здесь⬇️
