Чем больше вы делитесь в интернете, тем больше открываетесь для социальной инженерии. Вирусный тренд с карикатурами от ИИ может привести к утечке конфиденциальных данных и захвату аккаунтов. — theregister.com
Если вы видели вирусный тренд с карикатурами, созданными ИИ, когда люди просят ChatGPT «создать карикатуру на меня и мою работу, основываясь на всем, что ты обо мне знаешь» и публикуют ее в соцсетях, вам может показаться, что это безобидно. Вы ошибаетесь.
Аналитик по безопасности Forta Джош Дэвис утверждает, что это подвергает людей и их работодателей риску атак социальной инженерии, захвата аккаунтов LLM и кражи конфиденциальных данных.
«На момент написания это гипотетический риск, — заявил Дэвис The Register. — Но учитывая масштабы участия в публичном распространении этого тренда, мы считаем весьма вероятным, что некоторые пользователи могут быть таким образом скомпрометированы через захват аккаунта LLM. Тот факт, что пользователи публично размещают эту личную рабочую информацию и используют запрос «основываясь на всем, что ты обо мне знаешь», делает возможным просмотр конфиденциальной информации, связанной с их работодателем, в истории запросов в случае успешного захвата аккаунта».
По словам Дэвиса, на 8 февраля в Instagram* было добавлено 2,6 миллиона таких изображений со ссылками на профили пользователей, включая как приватные, так и публичные аккаунты. «Я сейчас просматриваю разные посты и за последние 5 просмотренных мною постов идентифицировал банкира, инженера по водоочистке, сотрудника отдела кадров, разработчика и врача», — сообщил он в своем блоге в среду.
Карикатура на IT-репортера — нажмите, чтобы увеличить
Иногда модель запрашивает у пользователя дополнительный контекст, прежде чем создать его мультяшное изображение. Но даже без этих дополнительных деталей такие карикатуры сигнализируют злоумышленнику, что человек использует LLM на работе — а это значит, что есть вероятность, что он вводил корпоративные данные в общедоступную модель.
Как The Register уже сообщал ранее, многие сотрудники используют личные аккаунты чат-ботов для помощи в работе, и большинство компаний понятия не имеют, сколько AI-агентов и других систем имеют доступ к их корпоративным приложениям и данным.
«Многие пользователи не осознают рисков ввода конфиденциальных данных в запросы или могут допускать ошибки при попытке использовать LLM для улучшения своих задач, — написал Дэвис. — Еще меньше людей понимают, что эти данные сохраняются в истории их запросов и (хотя это маловероятно) могут быть возвращены другому пользователю случайно или намеренно в ответах».
Злоумышленник может объединить имя пользователя в социальной сети, информацию из профиля и подсказки из сгенерированного LLM изображения, чтобы выяснить адрес электронной почты человека, используя поисковые системы или разведку по открытым источникам, пояснил он.
«Для захвата аккаунта не потребуется сложный или особо технически подкованный злоумышленник, — сказал Дэвис The Register. — Большая часть информации [в] общедоступных изображениях поможет в доксинге и целевом фишинге, что увеличит легкость и шансы на успешную атаку социальной инженерии».
Выяснив адрес электронной почты пользователя, злоумышленник может попытаться атаковать его с помощью социальной инженерии, отправив вредоносную ссылку на страницу сбора учетных данных или используя сценарий «атакующий посередине» для перехвата сессии пользователя и захвата его аккаунта.
Это дает злоумышленнику доступ к истории запросов, которую он может просканировать на предмет конфиденциальных корпоративных данных для последующей продажи или использования в мошеннических схемах и других атаках — или для вымогательства выкупа, если данные окажутся достаточно чувствительными.
Хотя захват аккаунта LLM является наиболее вероятным риском и требует технических навыков, инъекция запросов и джейлбрейк также возможны, хотя, как сообщил нам Дэвис, они требуют «высокого уровня сложности… Хотя это и не невозможно, мы вряд ли увидим такое».
Чтобы предотвратить такой тип непреднамеренной утечки данных, Дэвис говорит, что организациям сначала необходима видимость использования LLM и ИИ сотрудниками, а затем — политики управления для выявления неутвержденных приложений и ограничения их доступа к корпоративным системам и данным.
Он также рекомендует отслеживать скомпрометированные учетные данные. Хотя этот пример фокусируется на личных аккаунтах LLM, поскольку они чаще используются для публикаций в социальных сетях, «скомпрометированные корпоративные учетные данные были бы еще более разрушительными», — отметил он. ®
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jessica Lyons