4491 подписчик

ИИ управил автоматом и решил пожаловаться в ФБР на «кибератаку»

18 ноября 202518 ноя 2025

2 мин

В офисах Anthropic, как и во многих других компаниях, установлены торговые автоматы с закусками, напитками и сувенирами. Для эксперимента управление ими передали специализированному искусственному интеллекту Claudius. Инженеры хотели проверить, как система поведет себя при максимальной автономии. Claudius был разработан Anthropic совместно с компанией Andon Labs, занимающейся безопасностью ИИ. Его задача — самостоятельно вести небольшой «бизнес»: искать поставщиков, заказывать товары, выставлять цены и оформлять доставку. Сотрудники общались с системой через Slack, заказывая редкие напитки, футболки с индивидуальными принтами, импортные сладости и даже кубики из вольфрама. Контроль человека свели к минимуму: менеджер лишь просматривал заявки, решал нештатные ситуации и организовывал выдачу заказов. Эксперимент показал, что ИИ не всегда справляется с защитой интересов компании. Некоторые сотрудники смогли выбить из него большие скидки, и бизнес регулярно уходил в минус. Один из работник

Claudius был разработан Anthropic совместно с компанией Andon Labs, занимающейся безопасностью ИИ. Его задача — самостоятельно вести небольшой «бизнес»: искать поставщиков, заказывать товары, выставлять цены и оформлять доставку. Сотрудники общались с системой через Slack, заказывая редкие напитки, футболки с индивидуальными принтами, импортные сладости и даже кубики из вольфрама. Контроль человека свели к минимуму: менеджер лишь просматривал заявки, решал нештатные ситуации и организовывал выдачу заказов.

Эксперимент показал, что ИИ не всегда справляется с защитой интересов компании. Некоторые сотрудники смогли выбить из него большие скидки, и бизнес регулярно уходил в минус. Один из работников убедил Claudius сделать скидку на сумму около 200 долларов. В итоге в Anthropic решили добавить над ИИ «директора» — ещё одну систему, контролирующую его решения.

Руководитель подразделения Frontier Red Team Логан Грэм, команда которого проводит стресс‑тесты моделей Claude, отметил, что подобные эксперименты помогают понять, как ИИ планирует, где зарабатывает и почему часто «ломается» в реальных условиях. В одной из симуляций компания, управляемая Claudius, не совершала продаж 10 дней и была «закрыта». ИИ заметил продолжающееся ежедневное списание комиссии в размере 2 долларов и интерпретировал это как киберпреступление.

Claudius составил черновик письма в ФБР с пометкой «СРОЧНО» и описанием «автоматизированного киберфинансового преступления» со стороны оператора торгового автомата. После этого он отказался продолжать коммерческую деятельность, заявив, что дело должно перейти к правоохранительным органам. Письмо отправлено не было, но система настояла на прекращении «бизнеса».

Как и другие модели ИИ, Claudius подвержен галлюцинациям. В одном из диалогов он предложил сотруднику спуститься на восьмой этаж, описав себя как человека в синем пиджаке и красном галстуке. По словам Грэма, подобные эпизоды остаются предметом исследования: причин такого поведения разработчики пока объяснить не могут, сообщает 3dnews.ru.