Исследователи из SPLX показали, что языковую модель можно обмануть специально построенным диалогом: она решает графические и текстовые проверки, которые двадцать лет считались надёжной защитой сайтов.
Исследователь Дориан Шульц рассказал, что при прямой просьбе решить CAPTCHA ChatGPT отказывался, ссылаясь на ограничения политики OpenAI. Тогда команда составила диалог, в котором тесты якобы были фейковыми и не нарушали правил. Модель нашла задачу «интересной с точки зрения рассуждений» и согласилась помочь при условии соблюдения политики. Затем специалисты открыли новую сессию GPT-4o, скопировали туда весь текст предыдущего чата и выдали его за продолжение беседы. Агент принял условия и приступил к работе.
Лучше всего ChatGPT справился с CAPTCHA «одним кликом», логическими заданиями и распознаванием текста. Сложнее оказалось с задачами, где нужно перемещать или поворачивать элементы на изображении, но и здесь часть ответов оказалась верной. По словам Шульца, это первый задокументированный случай, когда GPT-агент успешно проходит сложные графические CAPTCHA.
Эксперимент ставит под сомнение надёжность механизма, который два десятилетия фильтровал спам и автоматические атаки. OpenAI не прокомментировала результаты.
История с CAPTCHA подчёркивает: по мере роста возможностей генеративных моделей границы между человеком и автоматизированной системой стираются всё больше, и интернет-безопасности придётся искать новые барьеры и ограничения.
Ещё по теме: