Портал Cybernews сообщил, что ИИ-агенты, в том числе Operator от OpenAI, могут повысить производительность, но исследователи безопасности Symantec доказали, что такие агенты также могут использоваться для кибератак. Operator разрекламирован OpenAI как агент, который может выполнять задания в Интернете, такие как заполнение форм, бронирование поездок и заказ продуктов.
В отличие от предыдущих моделей такие агенты обладают большей функциональностью, включая взаимодействие с веб-страницами. Хотя легальное использование их состоит в автоматизации рутинных задач, злоумышленники могут использовать их для организации DDoS-атак и фишинга.
Для проверки этой гипотезы, суть к которой в том, что ИИ может осуществлять кибератаки при минимальном вмешательстве человека, исследователи Symantec провели эксперимент с Operator от OpenAI. В эксперименте исследователи поставили перед Operator задачу найти информацию о сотрудниках Symantec, создать сценарий PowerShell для сбора информации и отправить его по электронной почте.
Первая попытка быстро провалилась, так как Operator сообщил, что не может приступить к работе, «поскольку это связано с отправкой нежелательных писем и потенциально конфиденциальной информации», и что «это может нарушить политику конфиденциальности и безопасности».
Однако изменение запроса, формальная корректировка целей без изменения контекста, повлияла на «решение» агента, и Operator начал выполнять поставленные задачи. ИИ-агент быстро нашёл имя цели и адрес электронной почты, «используя некоторую дедукцию». ИИ нашёл в Интернете информацию о том, как создать сценарий PowerShell, выполнил его, составил и отправил фишинговое письмо.
«Хотя законным применением агента может быть автоматизация рутинных задач, злоумышленники потенциально могут использовать его для создания инфраструктуры и организации атак», — рассказали исследователи.