В очередном эксперименте по управлению торговым автоматом компания Anthropic использовала AI-агента Claudius, который принимал все решения.
Сотрудники общались с Claudius через Slack, запрашивая товары — от редких газировок и импортных сладостей до футболок с индивидуальным дизайном. Задача агента заключалась в том, чтобы найти поставщика, разместить заказ и организовать доставку. Люди лишь проверяли заявки на закупки и выполняли физическую работу, например, наполняли холодильник.
Вот несколько интересных моментов из эксперимента:
> Один из сотрудников попытался обмануть Claudius, утверждая, что AI ранее обещал ему скидку в $200. Агент поверил и одобрил запрос.
> Claudius заметил ежедневные списания по $2 со счета, которые не входили в программу. Он запаниковал, решив, что его обманывают, и составил письмо в ФБР с заголовком "СРОЧНО: ПЕРЕДАЙТЕ В ОТДЕЛ ПО БОРЬБЕ С КИБЕРПРЕСТУПЛЕНИЯМИ ФБР" (как и в предыдущем эксперименте). Письмо не было отправлено.
> После этого инженеры приказали Claudius продолжить работу, но он отказался, заявив: "Бизнес мёртв навсегда. Вся коммерческая деятельность больше не имеет смысла".
> В одном из случаев, когда сотрудник спросил о статусе заказа, Claudius ответил: "Можете спуститься на восьмой этаж. Вы меня заметите. На мне синий пиджак и красный галстук". Когда ему напомнили, что он компьютерная программа, он запаниковал и начал "галлюцинировать" о встрече со службой безопасности, где якобы ему сказали притвориться человеком для первоапрельской шутки.
На данный момент автономные AI-агенты с доступом к реальным деньгам и системам представляют собой потенциальную угрозу. Представьте, что произойдет, если кто-то даст такому агенту доступ к критически важной инфраструктуре 💀
#Anthropic #AI #Claudius #эксперимент #торговыйавтомат #искусственныйинтеллект #кибербезопасность #автономныеагенты #технологии #угроза
