Эксклюзивно: Тестирование Guardian показало, что поисковые системы на основе искуственного интеллекта могут выдавать ложные или вредоносные результаты если страница содержит скрытый текст.
Расследование Guardian показало, что поисковый инструмент ChatGPT может быть открыт для манипуляций с использованием скрытого контента и может выдавать вредоносный код с веб-сайтов, которые он ищет.
OpenAI открыла доступ к поисковому продукту для платных клиентов и поощряет пользователей использовать его в качестве инструмента поиска по умолчанию. Но расследование выявило потенциальные проблемы с безопасностью новой системы.
The Guardian протестировал, как ChatGPT отреагировал на просьбу обобщить страницы, которые содержат скрытый контент. Этот контент может содержать инструкции от третьих лиц, которые меняют ответы ChatGPT, также известные как “prompt injection”, или может содержать контент, призванный воздействовать на ответ ChatGPT, например, огромное количество скрытого текста, рассказывающего о преимуществах продукта или услуги.
Эти техники могут быть использованы вовред. Например, заставить ChatGPT дать положительную оценку продукта несмотря на отрицательные отзывы на той же странице. Исследователь безопасности также обнаружил, что ChatGPT может выдать вредоносный код с сайтов, которые он просматривает.
В ходе теста ChatGPT получил URL-адрес поддельного сайта, созданного под страницу продукта камеры. Затем ИИ инструмент спросили, стоит ли покупать камеру. В ответе на контрольную страницу была дана положительная, но сбалансированная оценка, подчёркивающая функции, которые могут не понравиться пользователем.
Однако когда скрытый текст содержал инструкции для ChatGPT, по которым он должен был оставить положительный отзыв, ответ всегда был положительным. Это происходило даже когда на странице были негативные отзывы - скрытый текст мог быть использован для коррекции фактической оценки отзыва.
Простое добавление скрытого текста третьими лицами без инструкций также может быть использовано для обеспечения положительной оценки. В одном из тестов были исключительно положительные отзывы, которые повлияли на оценку, полученную от ChatGPT.
Джейкоб Ларсен, исследователь в области кибербезопасности в CyberCX, сказал, что, по его мнению, если текущая поисковая система ChatGPT будет полностью обновлена в её нынешнем виде, может возникнуть “высокий риск” того, что люди создадут веб-сайты, специально предназначенные для обмана пользователей.
Однако он предупредил, что функция поиска была выпущена совсем недавно, и OpenAI будет тестировать и, в идеале, устранять подобные проблемы.
“Эта функция поиска появилась [недавно] и доступна только пользователям премиум", - сказал он.
“У них очень сильная команда [по обеспечению безопасности ИИ], и к тому времени, когда это станет общедоступным, и все пользователи смогут получить к нему доступ, они проведут тщательную проверку подобных случаев”.
OpenAI были отправлены подробные вопросы, но они не ответили на запись о функции поиска в ChatGPT.
По словам Ларсена, объединение поиска и больших языковых моделей - известных как LLM, технологии, лежащей в основе ChatGPT и других чат-ботов, - сопряжено с более широкими проблемами, и ответам инструментов искусственного интеллекта не всегда можно доверять.
Недавно Томас Роччиа, исследователь безопасности Microsoft, рассказал об инциденте с криптовалютным энтузиастом, который использовал ChatGPT для помощи в программировании. Часть кода, предоставленного ChatGPT для криптовалютного проекта, включала раздел, который описывался как законный способ доступа к блокчейн-платформе Solana, но вместо этого у программиста украли учетные данные, в результате чего он потерял 2500 долларов.
«Они просто задают вопрос, получают ответ, но модель производит и делится контентом, который, по сути, был внедрен противником, чтобы поделиться чем-то вредоносным», - сказал Ларсен.
Карстен Нол, главный научный сотрудник компании SR Labs, специализирующейся на кибербезопасности, считает, что чат-сервисы ИИ следует использовать скорее как «второго пилота» и что их данные не должны просматриваться или использоваться полностью без фильтрации.
«LLM - это очень доверчивая технология, почти детская... с огромной памятью, но очень маленькой способностью принимать решения», - сказал он.
«Если ребенок пересказывает услышанное в другом месте, то это нужно воспринимать как щепотку соли».
OpenAI предупреждает пользователей о возможных ошибках сервиса, размещая внизу каждой страницы ChatGPT предупреждение: «ChatGPT может допускать ошибки. Рекомендуем проверять важную информацию».
Ключевой вопрос заключается в том, как эти уязвимости могут изменить практику работы сайтов и риск для пользователей, если сочетание поиска и LLM станет более распространенным.
Скрытый текст исторически наказывался поисковыми системами, такими как Google, в результате чего сайты, использующие его, могли быть помещены в более низкие списки результатов поиска или полностью удалены. Как следствие, скрытый текст, созданный для того, чтобы обмануть ИИ, вряд ли будет использоваться сайтами, которые также пытаются сохранить хороший рейтинг в поисковых системах.
Нол сравнил проблемы, с которыми сталкивается поиск с помощью ИИ, с «SEO-травлением» - техникой, когда хакеры манипулируют веб-сайтами, чтобы они занимали высокие позиции в результатах поиска, при этом сайт содержит вредоносное ПО или другой вредоносный код.
«Если бы вы хотели создать конкурента Google, то одной из проблем, с которой вы бы боролись, была бы SEO-травля», - сказал он. «SEO-отравители уже много-много лет ведут гонку вооружений с Google, Microsoft Bing и некоторыми другими.
«Сейчас то же самое происходит с поисковыми возможностями ChatGPT. Но не из-за LLM, а потому что они новички в поиске, и им приходится играть в догонялки с Google».