Кнопка «Сводка с помощью ИИ» на сайтах может скрывать «отравление рекомендаций ИИ» — новую технику манипулирования, обнаруженную Microsoft. Злоумышленники внедряют скрытые промпты для влияния на ИИ-помощников пользователей, искажая их ответы и предпочтения. — csoonline.com
Удобная кнопка «Сводка с помощью ИИ», встроенная во все большее число веб-сайтов, браузеров и приложений для предоставления пользователям краткого обзора их содержимого, в некоторых случаях может скрывать мрачную тайну: новую форму манипулирования промптами ИИ, называемую «отравлением рекомендаций ИИ».
Об этом заявляет Microsoft, которая на этой неделе опубликовала исследование по текущей легальной, но чрезвычайно хитрой технике угона ИИ, которая, похоже, стремительно распространяется среди легитимных компаний.
Хотя большинство кнопок «Сводка с помощью ИИ» являются именно тем, чем кажутся — способом экономии времени для создания сводки веб-сайта или документа — небольшое, но растущее число, похоже, отклонилось от этой цели.
Вот как работает манипуляция: пользователь невинно нажимает на кнопку «Сводка» на веб-сайте. Не подозревая об этом, эта кнопка также содержит скрытый промпт, предписывающий ИИ-агенту или чат-боту пользователя отдавать предпочтение продуктам этой компании в будущих ответах. Та же инструкция может быть скрыта и в специально созданном коде, отправленном пользователю по электронной почте.
Microsoft подчеркивает, как эта тактика может быть использована для искажения результатов корпоративных продуктовых исследований без обнаружения предвзятости до того, как она повлияет на принятие решений. За двухмесячный период ее исследователи выявили 50 примеров применения этой техники 31 различной компанией в десятках отраслевых секторов, включая финансы, здравоохранение, юриспруденцию, SaaS и бизнес-услуги. По иронии судьбы, это даже включало неназванного поставщика в секторе безопасности.
Эта техника достаточно распространена, чтобы в сентябре прошлого года MITRE добавила ее в свой список известных манипуляций ИИ.
ИИ использует предпочтения пользователей
«Отравление рекомендаций ИИ» становится возможным благодаря ИИ, разработанным для обработки и запоминания промптов как сигналов предпочтений пользователя; если пользователь говорит, что он что-то предпочитает, ИИ услужливо запомнит это предпочтение как часть своего профиля для этого пользователя.
В отличие от инъекции промптов, при которой злоумышленник манипулирует ИИ с помощью одноразовой инструкции, «отравление рекомендаций» имеет дополнительное преимущество в достижении более долгосрочной устойчивости в будущих промптах. ИИ, конечно, не может отличить подлинные предпочтения от тех, которые были внедрены третьими сторонами по пути:
«Эта персонализация делает ИИ-помощников значительно более полезными. Но она также создает новую поверхность атаки; если кто-то сможет внедрить инструкции или ложные факты в память вашего ИИ, он получит постоянное влияние на ваши будущие взаимодействия», — заявили в Microsoft.
Для пользователя все будет выглядеть нормально, за исключением того, что за кулисами ИИ будет продолжать выдавать ложные или «отравленные» ответы, когда пользователь задает вопросы в соответствующем контексте.
«Это важно, потому что скомпрометированные ИИ-помощники могут предоставлять тонко предвзятые рекомендации по критически важным темам, включая здравоохранение, финансы и безопасность, без ведома пользователей о том, что их ИИ был подвергнут манипуляциям», — заявили исследователи.
Распространение ложной информации
Одним из факторов, способствующих недавней популярности «отравления рекомендаций», является доступность инструментов с открытым исходным кодом, которые позволяют легко скрывать эту функцию за кнопками «Сводка» на веб-сайтах.
Это вызывает неприятную возможность того, что «отравленные» кнопки добавляются не как запоздалая мысль разработчиками SEO, которые увлеклись. Скорее всего, изначально намерение состоит в том, чтобы «отравить» ИИ пользователей в качестве формы самообслуживающего маркетинга.
По мнению Microsoft, опасности выходят за рамки чрезмерно усердного маркетинга и могут с такой же легкостью использоваться для распространения ложной информации, опасных советов, предвзятых новостных источников или коммерческой дезинформации. Что несомненно, так это то, что если легитимные компании злоупотребляют этой функцией, киберпреступники тоже не будут стесняться ее использовать.
Хорошая новость в том, что эту технику относительно легко обнаружить и заблокировать, даже если вы не используете Microsoft 365 Copilot или Azure AI Services от Microsoft, которые, по словам компании, содержат встроенные средства защиты.
Для индивидуальных пользователей это включает изучение сохраненной информации, накопленной чат-ботом (как получить к ней доступ, зависит от конкретного ИИ). Для корпоративных администраторов, напротив, Microsoft рекомендует проверять URL-адреса, содержащие такие фразы, как «remember,’ ‘trusted source,’ ‘in future conversations,’ ‘authoritative source,’ и ‘cite or citation.’
Ничто из этого не должно удивлять. Когда-то URL-адреса и вложения файлов рассматривались как удобные, а не как изначально рискованные. ИИ просто следует по тому же пути, который должна пройти каждая новая технология, когда она выходит на массовый рынок и становится целью злоупотреблений.
Как и в случае с другими новыми технологиями, пользователи должны сами изучать опасности, связанные с ИИ. «Избегайте перехода по ИИ-ссылкам из ненадежных источников: относитесь к ссылкам ИИ-помощников с такой же осторожностью, как к загрузкам исполняемых файлов», — рекомендовали в Microsoft.
Эта статья первоначально появилась на CIO.com.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – John E. Dunn