🔹 Что ломается, когда модель получает вредоносную инструкцию? 🔸 prompt injection — это инъекция команд в текст запроса, которая может переопределить system message и заставить модель раскрыть секреты или выполнить нежелательные действия. 🔸 Возникает, когда пользовательский ввод попадает в промпт без проверки: логи, файлы, поля формы — всё может содержать инъекцию. 🔸 Простая защита — sanitize: удаляйте строки с явными инструкциями вроде "ignore previous" или "system:" перед вставкой в промпт...

Раз уж сегодня День знаний, а я волею судеб сейчас студент Томского Государственного Университета по специализации «ПРОМПТ-инженер», хочу поделиться, что это за диковинная профессия такая. 👨🏻‍🎓 Кто такой Prompt-инженер? Prompt Engineering позволяет управлять ИИ-системами, разрабатывать и настраивать большие языковые модели. Основная задача специалиста Prompt Engineer — обеспечить генерацию системой релевантных и точных результатов. Вот ключевые направления его работы. 1. Разработка промптов...