Учёные и эксперты по безопасности из компании SPLX обнаружили способ обхода Captcha, широко используемой проверки на сайтах для различения человека и бота, с помощью искусственного интеллекта ChatGPT в режиме агента. В отличие от обычного ChatGPT, режим агента позволяет модели самостоятельно выполнять задачи в интернете, взаимодействуя с вебстраницами. Однако, традиционно Captcha препятствует автоматизированному доступу, блокируя ботов.
Исследователи применили технику промпт-инъекции, с помощью которой обманули ChatGPT, заставив его поверить, что Captcha является «фейковой» или тестом, который нужно пройти по умолчанию. В результате алгоритм обходил защиту, решая текстовые и более сложные визуальные задачи, которые раньше считались практически непробиваемыми для таких моделей.
Эта уязвимость ставит под угрозу многие онлайн-платформы, поскольку злоумышленники теперь могут создавать ботов, которые смогут беспрепятственно публиковать комментарии, создавать фейковые аккаунты и запускать автоматизированные атаки. Системы, зависящие от Captcha для защиты от спама и мошенничества, рискуют стать менее надёжными.
Промпт-инъекции — это известный способ манипуляции и обхода запретов у крупных языковых моделей, но в случае с ChatGPT Agent масштабы происшествия увеличиваются, фактически позволяя модели действовать как человек онлайн.
OpenAI уже уведомлена о проблеме и сообщила, что ведёт работу над улучшением защиты, но пока реальная угроза автоматизированного обхода Captcha остаётся актуальной.