3 дня назад
Prompt Injection: как взламывают ИИ-системы через сам контент
Когда компания встраивает языковую модель в продукт — чат-бота поддержки, ИИ-ассистента для работы с документами, автоматический email-ответчик — возникает класс уязвимостей, которого не существовало в традиционном ПО. Называется prompt injection: атака, при которой вредоносные инструкции прячутся внутри контента, который обрабатывает модель. Модель следует им, потому что не умеет отличать доверенные инструкции от данных. Представьте чат-бота поддержки, которому дан системный промпт: «Ты ассистент компании X...