Языковые нейромодели
могут стать источником
уязвимости пользователей
ChatGPT столь стремительно набрал популярность, что уже мало кому нужно объяснять что же он такое и для чего нужен. Всего через два месяца после его появления прошлой осенью, им воспользовались 100 миллионов человек. Сегодня наблюдается значительный прогресс в возможностях больших языковых моделей. Они уже внедряются на практике и интегрируются во многие системы, включая и поисковые системы, и интегрированные среды разработки.
«За 20 лет, прошедших после появления интернет-пространства, мы не можем вспомнить более быстрое развитие потребительского интернет-приложения», ‒ заявили в этом году аналитики инвестиционного банка UBS.
Однако без ложки дёгтя и в этом мёде не обошлось: технологии бесстрастны, и мошенникам это на руку. Новое исследование Центра информационной безопасности имени Гельмгольца CISPA Саарского университета показало, что чат-ботов с искусственным интеллектом можно довольно легко взломать для получения вашей конфиденциальной информации. Это возможно сделать с помощью так называемой непрямой оперативной инъекции.
Суть рисков заключается в самом механизме функционирования чат-ботов. В работе они используют алгоритмы обученной большой языковой модели (LLM). Благодаря ей эти программы могут обнаруживать, суммировать, переводить и прогнозировать текстовые последовательности в переписке. Для корректной работы LLM используют подсказки на естественном языке, но эта чудесная особенность, которая делает ботов адаптируемыми к непредвиденным и даже к невидимым задачам, как предупреждает исследователь из Саара Кай Грешаке, «может также сделать их восприимчивыми к целенаправленным враждебным подсказкам».
Учёный рассказал также, что чат Bing (аналог GPT) смог получить личные финансовые данные пользователя. Всё произошло примерно также: взаимодействие программы и человека привело к тому, что робот сам открыл страницу со скрытой подсказкой. А ведь мы привыкли, что чат-боты, будучи программным продуктом, просто не опасны для нас.
Кроме этого, университетские исследователи также обнаружили ещё одну уязвимость у Bing-а: его способность просматривать контент на открытых вкладках браузера лишь расширяет возможности его потенциального использования злоумышленниками для вредоносной активности. Таким образом, дополнение LLM возможностями поиска и вызова API (так называемые LLM, интегрированные в приложения) порождает совершенно новый набор векторов атак. Чат-боты могут обрабатывать заражённый контент, полученный из глобальной сети, который содержит вредоносные подсказки, предварительно внедрённые и выбранные злоумышленниками.
На данный момент пользователям чат-ботов рекомендуется проявлять такую же осторожность, как и при любых онлайн-протоколах, связанных с личной информацией и финансовыми транзакциями.
По материалам АРМК.