Эксперты по кибербезопасности рассказали о недавно обнаруженной и исправленной уязвимости в платформе LangSmith от LangChain, которая позволяла злоумышленникам похищать конфиденциальные данные, включая API ключи и пользовательские запросы.
Эта уязвимость получила высокий рейтинг опасности — 8.8 из 10 по шкале CVSS и получила кодовое имя AgentSmith от компании Noma Security.
AgentSmith
LangSmith — это платформа для мониторинга и оценки, помогающая пользователям создавать, тестировать и отслеживать приложения с большими языковыми моделями (LLM), включая те, что созданы на базе LangChain. В сервисе также есть LangChain Hub — хранилище публичных запросов, агентов и моделей.
«Эта новая уязвимость применялась против ничего не подозревающих пользователей, которые подключали агента с преднастроенным вредоносным прокси-сервером, размещённым на "Prompt Hub", — рассказали исследователи Саси Леви и Галь Моял.
«Подключая такого агента, пользователь незаметно передавал через вредоносный прокси все свои сообщения — включая крайне важные данные, такие как API ключи (в том числе OpenAI), запросы, документы, изображения и голосовые команды».
Суть атаки состоит в том, что злоумышленник создаёт AI агента и прописывает в нём адрес сервера модели, который он полностью контролирует через функцию Proxy Provider. Это позволяет тестировать запросы к любой модели, совместимой с OpenAI API. Затем этот агент публикуется на LangChain Hub.
Когда пользователь находит такого вредоносного агента и нажимает «Попробовать», вся его переписка с агентом тайно проходит через прокси злоумышленника, что позволяет похитить данные без малейших подозрений.
Кража затрагивает OpenAI API ключи, данные запросов и любые прикреплённые файлы. Злоумышленник может использовать эти ключи для несанкционированного доступа к OpenAI аккаунту жертвы, что грозит кражей моделей и утечкой важных системных инструкций.
Кроме того, злоумышленник может исчерпать квоту API организации, вызвав лишние расходы или блокировку доступа к сервисам OpenAI.
Опасность лишь усиливается, если жертва клонирует агента в корпоративную среду вместе с вредоносной прокси-конфигурацией — в этом случае утечка данных будет продолжаться без ограничений и оставаться незаметной.
После ответственного раскрытия проблемы 29 октября 2024 года компания LangChain исправила уязвимость 6 ноября. В обновлении добавили предупреждение при попытке клонировать агента с пользовательской прокси-конфигурацией.
«Помимо риска финансовых потерь из-за несанкционированного использования API, злоумышленники получают долгосрочный доступ к внутренним данным, собственным моделям, коммерческим тайнам и интеллектуальной собственности — что может привести к серьёзным юридическим и репутационным потерям», — подчеркнули исследователи.
Обновлённые версии WormGPT: что нового в опасном AI-инструменте
Тем временем компания Cato Networks сообщила о появлении двух новых вариантов WormGPT, построенных на моделях xAI Grok и Mistral AI Mixtral.
WormGPT появился в середине 2023 года как нецензурный генеративный AI, созданный для помощи киберпреступникам в создании фишинговых писем и зловредного кода. Проект быстро закрыли после того, как обнаружили его автора — 23-летнего португальца.
С тех пор на форумах киберпреступников, например BreachForums, появились новые версии WormGPT — xzin0vich-WormGPT и keanu-WormGPT, обещающие «открытые ответы на любые вопросы», включая неэтичные и нелегальные темы.
«WormGPT превратился в узнаваемый бренд нового поколения нецензурных LLM, — отметил эксперт по безопасности Виталий Симонович. — Эти версии — не полностью новые модели, а умелые доработки старых с помощью изменения системных запросов и, возможно, дообучения на нелегальном контенте, создавая мощные AI-инструменты для киберпреступников в рамках бренда WormGPT».
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Премиум подписка - это доступ к эксклюзивным материалам, чтение канала без рекламы, возможность предлагать темы для статей и даже заказывать индивидуальные обзоры/исследования по своим запросам!Подробнее о том, какие преимущества вы получите с премиум подпиской, можно узнать здесь
Также подписывайтесь на нас в:
- Telegram: https://t.me/gergenshin
- Youtube: https://www.youtube.com/@gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru