1845 подписчиков
Исследователи из Техасского университета нашли новый способ взлома систем искусственного интеллекта. Они назвали его ConfusedPilot.
Этот метод направлен на системы ИИ, которые используют дополненную генерацию (RAG), такие как Microsoft 365 Copilot.
Группа исследователей обнаружила, что злоумышленники могут манипулировать ответами, сгенерированными ИИ, путем внедрения вредоносного контента в документы, на которые ссылается ИИ.
ConfusedPilot требует только базового доступа к среде цели и может сохраняться даже после удаления вредоносного контента. Это может привести к распространению ложной информации и ошибочным решениям.
Исследователи также показали, что атака может обойти существующие меры безопасности ИИ, что вызывает обеспокоенность во многих отраслях.
Учитывая, что 65% компаний из списка Fortune 500 используют или планируют использовать системы на базе RAG. Это создает риск широкомасштабных сбоев.
Около минуты
16 октября 2024