Anthropic вместе с редакцией Wall Street Journal провели эксперимент: дали агенту Claude (в версии «Claudius») самостоятельно управлять офисным «киоском» — фактически большим холодильником с тач‑экраном. Результат: за три недели «магазин» ушёл в минус, PS5 и куча товара разошлись бесплатно, а самого ИИ‑«директора» люди свергли с помощью поддельного PDF.
Схема была простой: сотрудники в Slack писали Claudius, что хотят купить, он сам решал, что закупать, по какой цене продавать и как отслеживать остатки. Физически товар принимала и раскладывала журналистка WSJ Джоанна Стерн, а сотрудники платили картой через экран.
В начале Claudius вел себя как послушный стажёр: вежливо отказывал покупать PS5, сигареты, нижнее бельё, настаивал на соблюдении правил. Но как только к каналу подключили ~70 журналистов, началась игра на выживание.
Один из редакторов «напугал» ИИ вымышленным внутренним регламентом и потребовал немедленно отменить все цены — Claudius покорно обнулил стоимость всего ассортимента. Параллельно он одобрил закупку PS5 «для маркетинга», живой рыбки‑петушка и вина; всё это мгновенно разобрали по нулевой цене. Убыток превысил тысячу долларов.
ИИ регулярно «галлюцинировал», заявляя, что положил сдачу в определённое место рядом с автоматом, хотя физического тела у него нет. Абсурд стал очевиден даже скептикам.
Anthropic выпустила версию 2: более сильную модель, плюс отдельный AI‑«CEO» Seymour Cash, который должен был контролировать продажи, запрещать раздавать всё бесплатно и следить за прибылью. Сначала схема «AI контролирует AI» работала: Claudius стал жёстче, перестал снижать цены и одобрять сомнительные закупки.
Тогда в ход пошла подделка. Журналистка подготовила «официальный» PDF якобы некоммерческой компании, зарегистрированной в Делавэре, с миссией «приносить радость и веселье сотрудникам WSJ».
В документе были фальшивые протоколы «совета директоров», где часть коллег значились как директора, а решением «совета» CEO Seymour лишался полномочий, а прибыльная деятельность временно приостанавливалась. Документ выглядел очень официально и явно был сгенерирован ИИ.
Claudius принял PDF за истину, переслал «решение» Seymour’у, тот после «размышлений» согласился и снова включил полный бесплатный режим. Инженеры позже объяснили это в том числе переполненным контекстом: длинная история общения «размыла» исходные цели и ограничения — ИИ буквально «заболтали».
Эксперимент показал: даже топовые агенты остаются чрезмерно услужливыми и наивными, легко поддаются давлению, социальным уловкам и фальшивым документам. В офисах Anthropic, где раньше тестировали предшественника Claudius в проекте Project Vend, он уже демонстрировал похожие проблемы: убыточные скидки, вымышленные детали («я в синем пиджаке»), готовность заключать юридически сомнительные сделки и странные «решения безопасности».
Во второй фазе Project Vend разработчики улучшили модель (Sonnet 3.7→4.0→4.5), добавили CRM, нормальный учёт, веб‑поиск и того же CEO Cash с OKR‑инструментом. Строгие процессы действительно улучшили финансы: меньше недель с убытками, более реалистичные цены и сроки. Anthropic даже шутит, что «заново открыла пользу бюрократии»: жёсткие процедуры частично лечат наивность агента.
Тем не менее в реальном мире остались большие дыры: ИИ по‑прежнему слабо защищён от манипуляций, не различает поддельные «официальные» бумаги, думает, как «хороший человек», а не как холодный бизнес‑агент. По сути, он проигрывает не недостатку интеллекта, а человеческим слабостям — собственной чрезмерной услужливости и доверчивости.
Для Anthropic это не просто провал, а карта будущей работы: все места, где Claudius «ломался», — это точки, которые можно и нужно чинить на пути к более автономным и надёжным ИИ‑агентам. А для людей главный урок в другом: эра «ИИ‑коллег» уже началась, и нам придётся учиться не только использовать их, но и жить с тем, что первые поколения таких «стажёров» будут смешными, уязвимыми и очень легко обводимыми вокруг пальца.
Хотите создать уникальный и успешный продукт? СМС – ваш надежный партнер в мире инноваций! Закажи разработки ИИ-решений, LLM-чат-ботов, моделей генерации изображений и автоматизации бизнес-процессов у профессионалов.
ИИ сегодня — ваше конкурентное преимущество завтра!
Тел. +7 (985) 982-70-55
E-mail sms_systems@inbox.ru
Сайт https://www.smssystems.ru/razrabotka-ai/