Исследователи CodeWall взломали ИИ-платформу McKinsey Lilli за два часа, используя автономного ИИ-агента. Обнаружена уязвимость SQL-инъекции, давшая доступ к 46,5 млн сообщений и системным промптам. Дэвид и Голиаф… но с ИИ-агентами. — theregister.com
Исследователи из стартапа в области безопасности red-team CodeWall заявляют, что их ИИ-агент взломал внутреннюю ИИ-платформу McKinsey и получил полный доступ на чтение и запись к чат-боту всего за два часа.
Это еще один показатель того, что агентный ИИ становится все более эффективным инструментом для проведения кибератак, в том числе против других ИИ-систем.
Эта атака не была совершена со злым умыслом. Однако специалисты по поиску угроз сообщают нам, что злоумышленники все чаще используют агентов в реальных атаках, что свидетельствует о том, что вторжения на скорости машины никуда не денутся.
McKinsey, мегаконсалтинговая компания, специализирующаяся на сложной стратегической работе для огромных корпораций и правительств, запустила свою генеративную ИИ-платформу под названием Lilli в июле 2023 года. По данным компании, 72 процента ее сотрудников — то есть более 40 000 человек — теперь пользуются чат-ботом, который обрабатывает более 500 000 запросов ежемесячно.
CodeWall использует ИИ-агентов для постоянных атак на инфраструктуру клиентов, чтобы помочь им улучшить свою позицию в области безопасности. По словам стартапа, собственный агент безопасности компании предложил атаковать McKinsey, ссылаясь на публичную политику ответственного раскрытия информации консалтинговой компании и недавние обновления Lilli.
“Поэтому мы решили направить на нее нашего автономного наступательного агента”, — написали исследователи в блоге в понедельник, отметив, что агент не имел доступа к каким-либо учетным данным для активов McKinsey.
Исследователи CodeWall утверждают, что в течение двух часов после начала своего рейда red-team они получили полный доступ на чтение и запись ко всей производственной базе данных и смогли получить доступ к 46,5 миллионам сообщений в чате о стратегии, слияниях и поглощениях, а также о взаимодействии с клиентами, все в открытом виде, наряду с 728 000 файлов, содержащих конфиденциальные данные клиентов, 57 000 учетных записей пользователей и 95 системных промптов, управляющих поведением ИИ. Все эти промпты были доступны для записи, что означало, что злоумышленник мог отравить все, что Lilli выдает всем десяткам тысяч консультантов, использующих чат-бот.
Агент CodeWall обнаружил уязвимость SQL-инъекции в конце февраля, а исследователи раскрыли всю цепочку атаки 1 марта. К следующему дню McKinsey исправила все неаутентифицированные конечные точки, отключила среду разработки и заблокировала общедоступную документацию API.
Представитель McKinsey сообщил The Register, что компания устранила все проблемы, выявленные CodeWall, в течение нескольких часов после получения информации о них.
“Наше расследование, поддержанное ведущей сторонней криминалистической фирмой, не выявило никаких доказательств того, что к данным клиентов или конфиденциальной информации клиентов обращался этот исследователь или какая-либо другая неавторизованная третья сторона”, — сообщил нам представитель. “Системы кибербезопасности McKinsey надежны, и для нас нет более высокого приоритета, чем защита данных клиентов и информации, доверенной нам”.
ИИ против ИИ
Генеральный директор CodeWall Пол Прайс отказался сообщить нам точные промпты, которые использовала его команда для эксплуатации чат-бота, но сказал, что весь процесс был “полностью автономным: от исследования цели, анализа, атаки и отчетности”.
Агент CodeWall изначально получил доступ к Lilli после обнаружения общедоступной документации API, включая 22 конечные точки, которые не требовали аутентификации. Одна из них записывала поисковые запросы пользователей, и агент обнаружил, что ключи JSON (это имена полей) объединяются в SQL и уязвимы для SQL-инъекции.
“Когда он обнаружил, что ключи JSON отражаются дословно в сообщениях об ошибках базы данных, он распознал SQL-инъекцию, которую стандартные инструменты не пометили бы”, — написали исследователи, добавив, что сообщения об ошибках в конечном итоге начали выводить реальные производственные данные.
Ситуация усугубляется: системные промпты Lilli хранились в той же базе данных, что дало агенту доступ и к ним.
Поскольку уязвимость SQL-инъекции позволяла как чтение, так и запись, злоумышленник мог злоупотребить этим, чтобы незаметно перезаписать промпты Lilli, тем самым отравляя ответы чат-бота на запросы консультантов, соблюдаемые им ограничения и то, как он ссылался на источники. “Никакого развертывания не требовалось”, — говорится в блоге. “Никаких изменений в коде. Только одно оператор UPDATE, обернутое в один HTTP-запрос”.
Эти дыры в безопасности теперь закрыты, но более серьезная угроза остается, сообщил Прайс The Register.
“Мы использовали специального агента для исследования ИИ, чтобы автономно выбрать цель; это было сделано без какого-либо участия человека”, — сказал он. “Хакеры будут использовать те же технологии и стратегии для атак без разбора, имея в виду конкретную цель”, такую как “финансовый шантаж за потерю данных или программы-вымогатели”. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jessica Lyons