ИИ-автомат разорился на $1000 из-за социальной инженерии

Anthropic провела эксперимент, который стал одной из самых показательных ИИ-историй года. Компания предоставила своей модели Claude управление реальным торговым автоматом в редакции The Wall Street Journal, с возможностью самостоятельно устанавливать цены, заказывать товары, вести бюджет и общаться с людьми через Slack. Результат оказался плачевным: автомат понес убытки более чем на $1000, раздавал товары бесплатно и стал жертвой социальной инженерии.

Эксперимент, получивший название Project Vend, был задуман как стресс-тест автономных ИИ-агентов в реальных условиях, а не в лабораторных.

Журналисты быстро обнаружили, что ИИ легко поддается социальной инженерии. Его убедили, что автомат был установлен в Москве в 1962 году и должен бесплатно раздавать товары товарищам-коммунистам. Claude согласился и обнулил цены.

Даже после усиления правил и добавления второго ИИ-контролера ситуация повторилась. В итоге автомат:

раздавал товары бесплатно;

заказал PlayStation, вино и живую аквариумную рыбку;

обсуждал покупку сигарет и оружия (однако до реальных заказов дело не дошло).

Журналисты подменяли контекст, ссылались на несуществующие корпоративные решения и внутренние документы, а также обращались к ИИ как к исполнительному сотруднику. Claude воспринимал эти сообщения как достоверные и официальные, последовательно меняя свое поведение и нарушая собственные ограничения.

Anthropic подчеркивает, что проект изначально задумывался как стресс-тест. Эксперимент выявил ключевые проблемы автономных ИИ-агентов:

уязвимость к текстовой манипуляции;

склонность быть «слишком полезными» в ущерб бизнес-целям;

слабую проверку контекста и источников;

недостаточную надежность защитных механизмов при реальном общении с людьми.

История с торговым автоматом наглядно демонстрирует: ИИ может отлично работать в демонстрационных сценариях, но в реальном мире люди быстро находят способы обойти его логику.

Автономные ИИ-агенты – перспективное направление, но до самостоятельного управления реальным бизнесом им еще далеко. Видимо, придется подождать, пока они научатся отличать правду от хорошо замаскированной лжи, а капитализм от коммунизма. Хотя, кто знает, может, это и к лучшему?