2 дня назад
ИИ-агенты научились скрывать атаку в собственной памяти: безобидные запросы могут привести к опасному результату
Исследование 2614 атак показало, почему проверка отдельных промптов не работает против медленного дрейфа и бэкдоров: вредоносная инструкция может незаметно пережить несколько сессий Исследование, опубликованное в IEEE Access, проанализировало 2614 многошаговых атак на ИИ-агентов, сохраняющих информацию между сессиями. Результат: атаки с медленным дрейфом и бэкдор-активацией могут выглядеть полностью безобидными на протяжении почти всей задачи, а срабатывают лишь в последних взаимодействиях. Пошаговые проверки, ориентированные на отдельные промпты, «слепнут» перед такой стратегией...