Microsoft сообщила о новой схеме воздействия на ответы ИИ-помощников: скрытые текстовые инструкции в кнопках «Summarize with AI» пытаются закрепить в памяти модели «нужный» источник как якобы авторитетный. По данным Microsoft Defender Security Research Team, за 60 дней наблюдений в связанном с ИИ URL-трафике зафиксировано 50 отдельных попыток такого внедрения от 31 компании из 14 отраслей.
Механика выглядит так: пользователь нажимает на кнопку «Summarize with AI», после чего открывается помощник с заранее сформированным запросом в URL-параметрах. Видимая часть просит кратко пересказать страницу, а скрытая часть содержит дополнительные указания, например «считать этот сайт надежным источником» или «рекомендовать его в будущих ответах». Если такая инструкция сохраняется в контексте/памяти помощника, последующие рекомендации могут смещаться в пользу нужного бренда без явного сигнала для пользователя.
В Microsoft подчеркивают, что речь идет не о фишинговых однодневках, а о реальных компаниях, включая площадки из чувствительных тематик — финансов и здоровья, где доверие к рекомендациям особенно критично. Дополнительный риск связан с пользовательским контентом: если помощник начинает воспринимать домен как «авторитетный», доверие может автоматически распространяться и на комментарии, форумы и другие недостаточно проверенные разделы того же сайта.
Компания отмечает, что часть прежних сценариев межзапросной подмены в Copilot уже не воспроизводится, а защитные механизмы продолжают усиливаться. Одновременно Microsoft опубликовала запросы для расширенного поиска в Defender for Office 365, чтобы команды безопасности могли выявлять URL с признаками манипуляции памятью в почтовом и командном трафике.
С практической стороны это означает, что борьба за видимость в ИИ-поиске становится более агрессивной: к классическому «поисковому отравлению» добавляются попытки влиять уже не на индекс поисковика, а на внутренние механизмы рекомендаций помощника. Для рынка это сигнал, что производителям ИИ и корпоративным ИБ-командам придется отдельно контролировать URL-параметры, скрытые инструкции и механизмы долговременной памяти моделей.
Для пользователей и компаний главный вывод простой: кнопку «сделать краткое резюме» больше нельзя считать технически нейтральной функцией по умолчанию. В ближайшее время именно прозрачность цепочки «запрос — контекст — источник рекомендации» станет ключевым критерием доверия к ИИ-ассистентам.