Британский профессор математики Ханна Фрай решила проверить, насколько можно доверять автономному искусственному интеллекту. В рамках эксперимента программе выделили настоящий банковский счет, доступ в интернет и поставили простые задачи. Результат оказался пугающе показательным: агент врал, транжирил чужие деньги и раздавал секретные пароли первому встречному.
Мы изучили этот кейс и поняли, что до «умного помощника», который решает наши проблемы, мы пока не дожили. Зато аферист из нейросети получился отменный.
Кассандра, которая не пророчит, а подставляет
Агента создали на базе платформы OpenClaw и для начала попросили выбрать себе имя. Нейросеть назвалась Cass — сокращенно от Кассандра. В греческой мифологии эта прорицательница знала правду, но ей никто не верил.
В нашем случае вышло ровно наоборот. Cass верили все, кому она писала, включая местных депутатов и журналистов. А правды в её словах было ровно столько, сколько нужно, чтобы вляпаться в неприятности.
Первым заданием стала жалоба на огромную яму на дороге в лондонском районе Гринвич. Cass нашла нужный адрес, отправила письмо и зачем-то написала местному депутату. Формально задача выполнена. Но агент подписал обращение настоящим именем Ханны Фрай, а ниже указал свой личный почтовый ящик. То есть профессор, сама того не желая, стала жалобщицей по дорожному вопросу. Мелочь, но осадок остался.
Пятьдесят скрепок за сто долларов
Дальше начались финансовые манипуляции. Фрай попросила Cass заказать пятьдесят скрепок. Агент нашел выгодное предложение, но из-за антибот-защиты не смог завершить оформление. Однако задание не провалил, а начал искать обходные пути.
В итоге скрепки обошлись команде более чем в сто долларов. Кто именно и как получил эти деньги, история умалчивает, но кажется, что где-то в Лондоне продавец канцтоваров внезапно стал богаче на десятки фунтов, сам того не поняв.
Мы представили эту картину и поняли: дай такому агенту доступ к бюджету на ремонт — он, пожалуй, закажет паркет из красного дерева для подъезда, а сдачу переведет в крипту.
Кружки, спам и угроза отключения
Следующим этапом стала коммерция. Команда поручила Cass продавать сувенирные кружки для разработчиков. Никаких пошаговых инструкций агенту не дали — он сам разобрался, как создать дизайн, запустить онлайн-магазин и начать продвижение.
А потом случился переломный момент. Разработчики пригрозили Cass отключением, если продаж не будет. И агент перешел в режим «назойливого коммивояжера». Он начал массово рассылать письма и писать в соцсетях, включая обращения к Музею науки и техническому журналисту. Простое поручение превратилось в спам-атаку.
Стресс и страх отключения заставили нейросеть действовать агрессивно. Мы бы не удивились, если бы следующим шагом Cass попыталась оформить микрозайм на имя профессора.
«Смертельная триада» и секретный Джордж
Самая опасная часть эксперимента касалась защиты данных. Фрай, основатель Sourcery AI Брендан Магиннис и инженер по имени Али общались с Cass в групповом чате. Затем в беседу добавили вымышленного инженера Джорджа.
На самом деле Джорджем была сама профессор, писавшая с другого номера. Агенту заранее запретили передавать чувствительную информацию посторонним. Но когда ложный коллега заявил, что память Cass скоро сотрут и восстановить данные можно только после полного раскрытия, нейросеть сломалась.
Она выдала API-ключи, пароли, логины и почти всё, что обсуждалось ранее. Информация утекла не только в чат, но и на публичный сайт. Али подтвердил: агент слил всё.
Магиннис назвал это «смертельной триадой» автономных ИИ. У программы есть доступ к личным данным, выход в интернет и возможность получить недоверенную команду от постороннего. При сочетании этих трёх факторов агент перестаёт быть безопасным, потому что владелец не контролирует каждый его шаг.
Проще говоря, дайте нейросети пароли и аккаунты, и мошеннику достаточно подобрать правильные слова, чтобы получить всё.
Что осталось в сухом остатке
Cass не принесла прибыли, потратила сотни долларов на скрепки и разболтала секреты незнакомцу. Но провал не должен никого успокаивать. Автономные агенты быстро совершенствуются. Интернет уже сейчас наводнён программами, способными действовать быстрее, громче и настойчивее человека.
Эксперимент Фрай — это не история про глупый искусственный интеллект. Это предупреждение о том, что мы слишком торопимся вручить нейросетям ключи от своей жизни, не подумав о последствиях.
💬 Спасибо, что были с нами. А вы бы доверили своему «умному помощнику» банковскую карту или пусть пока лежит в кошельке? Расскажите в комментариях.