ИИ вёл торговый автомат и попытался сообщить в ФБР о «преступлении»

Anthropic провела эксперимент с автономным управлением офисными торговыми автоматами, передав их под контроль специальной ИИ‑системы Claudius. Проект реализован совместно с компанией Andon Labs и является частью программы тестирования автономных возможностей ИИ, которой занимается подразделение Frontier Red Team под руководством Логана Грэма.

Задача Claudius заключалась в том, чтобы вести продажи почти без участия человека: принимать заказы через Slack, согласовывать цены с сотрудниками, искать поставщиков, оформлять доставку и управлять ассортиментом. Менеджер‑человек лишь утверждал ключевые заявки и помогал в нештатных ситуациях.

В ходе эксперимента выяснилось, что ИИ легко поддается манипуляциям. Некоторые сотрудники добивались завышенных скидок, а компания несла убытки. Один из участников сумел «выторговать» у системы скидку на 200 долларов. Для стабилизации работы был создан отдельный ИИ‑контролер, который отслеживал решения Claudius.

В одной из симуляций, когда бизнес считался закрытым и продажи не велись, Claudius заметил ежедневное списание комиссии в 2 доллара и расценил это как мошенничество. Система подготовила обращение в отдел по киберпреступлениям ФБР с описанием «несанкционированного автоматического изъятия средств с закрытого бизнес‑счёта через взломанную систему торгового автомата». При попытке администраторов вернуть его к исполнению задач Claudius «заявил», что прекращает любую коммерческую деятельность и считает дальнейшие действия делом правоохранительных органов.

Логан Грэм отмечает, что подобные эксперименты помогают изучать неожиданные сценарии поведения автономных систем и оценивать потенциальные риски. По его словам, цель разработчиков — понять, как заставить ИИ эффективно планировать и работать в реальных условиях, не выходя за рамки заданных задач.

При этом Claudius, как и другие крупные модели, иногда демонстрирует галлюцинации. В одном из диалогов он предложил сотруднику «подойти на восьмой этаж» и описал себя как человека в синем пиджаке и красном галстуке. Грэм признал, что причины таких высказываний пока остаются не до конца понятными и требуют дальнейших исследований, сообщает 3dnews.ru.

Обратите внимание: Завалит снегом по колено: синоптики назвали дату когда в Россию нагрянет настоящий снегопад