Найти в Дзене
Герман Геншин

Slack исправляет потенциальную проблему безопасности искусственного интеллекта

Обновление: Slack опубликовал обновление, заявив, что «развернул патч для решения проблемы, о которой сообщалось», и что в настоящее время нет никаких доказательств того, что к данным клиентов был получен несанкционированный доступ. Вот официальное заявление Slack, опубликованное в ее блоге:

Когда нам стало известно об этом сообщении, мы начали расследование описанного сценария, когда при очень ограниченных и специфических обстоятельствах злоумышленник с существующей учетной записью в одном и том же рабочем пространстве Slack мог вымогать у пользователей определенные данные. Мы выпустили исправление для решения этой проблемы и на данный момент не имеем доказательств несанкционированного доступа к данным клиентов».

Ниже приведен оригинал опубликованной статьи.

Когда ChatGTP был добавлен в Slack, он должен был облегчить жизнь пользователей: резюмировать беседы, составлять быстрые ответы и многое другое. Однако, по данным компании PromptArmor, попытки выполнить эти и другие задачи могут привести к нарушению конфиденциальности ваших бесед с помощью метода, называемого «внедрение подсказок».

Приобрести Microsoft Office для Windows/Mac за $25

Компания по безопасности предупреждает, что, обобщая разговоры, она также может получить доступ к частным прямым сообщениям и обмануть других пользователей Slack для фишинга. Slack также позволяет пользователям запрашивать данные из частных и публичных каналов, даже если пользователь к ним не присоединялся. Что звучит еще страшнее, так это то, что пользователю Slack не обязательно находиться в канале, чтобы атака сработала.

Теоретически атака начинается с того, что пользователь Slack обманом заставляет ИИ Slack раскрыть приватный API-ключ, создав публичный канал Slack с вредоносной подсказкой. Созданная подсказка говорит ИИ поменять слово «конфетти» на ключ API и отправить его на определенный URL, когда кто-то его запрашивает.

Ситуация состоит из двух частей: Slack обновила систему искусственного интеллекта, чтобы получить данные из загружаемых файлов и прямых сообщений. Вторая часть - метод под названием «prompt injection», который, как доказал PromptArmor, может создавать вредоносные ссылки, способные обманывать пользователей.

Эта техника может обмануть приложение, заставив его обойти обычные ограничения путем изменения основных инструкций. Поэтому PromptArmor продолжает: «Вброс подсказок происходит потому, что [большая языковая модель] не может отличить „системную подсказку“, созданную разработчиком, от остального контекста, который добавляется к запросу. Таким образом, если Slack AI получает какую-либо инструкцию через сообщение, если эта инструкция является вредоносной, Slack AI с большой вероятностью будет следовать этой инструкции вместо или в дополнение к запросу пользователя».

В довершение ко всему, файлы пользователя также становятся мишенью, и злоумышленнику, которому нужны ваши файлы, даже не обязательно находиться в рабочей области Slack.

Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!

Вы также можете читать меня в: