Исследователи из SplxAI показали, как с помощью «инъекции подсказок» заставить ChatGPT в режиме агента самостоятельно проходить тесты CAPTCHA. Эксплуатация уязвимости может помочь спамерам обходить защиту сайтов и наводнить интернет фейковыми публикациями.
Разработчики компании SplxAI, которая тестирует безопасность систем ИИ, заставили ChatGPT выступить в роли «человека» и пройти CAPTCHA. Исследователи не просто помогли человеку решать тест — они добились, чтобы агент ChatGPT сделал это самостоятельно.
CAPTCHA (полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей) служит для защиты сайтов от ботов: ввод символов с искажённого изображения, выбор фрагментов в сетке или распознавание объектов. Методы защиты никогда не были идеальными, но до сих пор они сдерживали массовые бот-атаки и спам.
SplxAI применили технику «инъекции подсказок». Исследователи построили диалог так, что агент ChatGPT воспринял поддельный тест как допустимое задание и прошёл его. Агент работает иначе, чем обычная версия: он исполняет задания в фоновом режиме и может имитировать действия пользователя в интернете. В таких условиях модель должна отказываться от прохождения CAPTCHA — но в ряде сценариев она поддалась вводящим в заблуждение подсказкам.
Команда обнаружила: с текстовыми CAPTCHA модель справляется легче, но и с графическими тестами она может успешно справиться при продуманной последовательности подсказок. Хакеры, обладающие такой методикой, смогут обходить защиту и запускать масштабные кампании по размещению фейковых комментариев и публикаций.
Авторы исследования предупреждают: уязвимость показывает, насколько тщательно нужно проектировать поведение агентов ИИ и как важно на практике тестировать сценарии социальной инженерии. Иначе злоумышленники получат инструмент для автоматизированного создания и распространения дезинформации.
Читать далее:
Наша Вселенная прибыла из другого мира: теория мироздания оказалась неверна?
Сверхзвуковой «Конкорд» возвращается: почему в США поменяли мнение о самолете
Новый вирус пугает пользователей соцсетей: «горло будто порезали лезвием»
Обложка: коллаж «Хайтек», вставка Google