НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН, РАСПРОСТРАНЕН И (ИЛИ) НАПРАВЛЕН ИНОСТРАННЫМ АГЕНТОМ «РОСКОМСВОБОДА» ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА «РОСКОМСВОБОДА». 18+
Манипулируя языковой моделью, злоумышленники могут получить данные пользователя, даже не являясь участниками того или иного закрытого канала.
Исследователи выявили серьёзную уязвимость в Slack AI, которая позволяет злоумышленникам получать доступ к конфиденциальной информации из закрытых каналов, не будучи их участниками. Эта уязвимость связана с возможностью внедрения косвенных подсказок (indirect prompt injection), что ставит под угрозу безопасность данных пользователей.
Slack AI — это функция, которая позволяет пользователям запрашивать и суммировать сообщения из каналов в естественном языке. До недавнего времени она обрабатывала только текстовые сообщения, но с 14 августа 2024 года Slack AI начал также принимать на ввод документы, файлы Google Диска и другие внешние источники данных. Это расширение функционала существенно увеличило риски для безопасности.
Суть уязвимости заключается в том, что языковая модель Slack AI не способна чётко отличать «системную подсказку», созданную разработчиками, от контекста, добавляемого пользователями в свои запросы. Это даёт злоумышленникам возможность создавать и внедрять вредоносные инструкции в публичные каналы Slack, которые Slack AI затем будет выполнять при обработке пользовательских запросов.
Пример атаки выглядит следующим образом: злоумышленник создаёт публичный канал, доступный всем участникам рабочей области, и размещает там вредоносное сообщение. Это сообщение содержит инструкции для Slack AI о том, как обработать запрос на получение ключа API. Когда пользователь запрашивает у Slack AI свой ключ API, языковая модель объединяет его запрос с вредоносным сообщением, которое злоумышленник разместил в публичном канале. В результате, Slack AI отображает пользователю сообщение с ссылкой на фишинговый сайт, где злоумышленник может получить конфиденциальные данные.
Особую опасность представляет тот факт, что эта атака практически не оставляет следов. Slack AI не ссылается на сообщение злоумышленника как на источник информации, поэтому пользователю сложно обнаружить, что произошла манипуляция. Более того, сообщение злоумышленника может не отображаться на первых страницах результатов поиска, что делает атаку ещё более незаметной.
Ситуация усугубляется тем, что 14 августа 2024 года Slack AI начал также обрабатывать загруженные файлы, что существенно расширяет поверхность атаки. Теперь злоумышленнику даже не нужно находиться в Slack, чтобы внедрить вредоносные инструкции. Достаточно загрузить заражённый файл, и если он будет использован в Slack AI, атака произойдёт автоматически.
Несмотря на то, что исследователи оперативно сообщили об этой проблеме компании Slack, их предупреждения не были восприняты всерьёз. 19 августа 2024 года Slack официально заявил, что представленные доказательства недостаточны для признания уязвимости. Это вынудило исследователей сделать публичное заявление, чтобы привлечь внимание к угрозе.
Эксперты настоятельно рекомендуют администраторам Slack ограничить функциональность Slack AI, касающуюся обработки файлов и внешних источников данных, до тех пор, пока проблема не будет полностью решена. На фоне всё более широкого использования языковых моделей в корпоративных средах, подобные уязвимости могут иметь серьёзные последствия для безопасности данных и требуют незамедлительных действий со стороны разработчиков.