🏋️♂️😈🏋️♂️
Австралиец по имени Эндрю попросил своего ИИ-агента на базе Claude через OpenClaw забронировать место на популярное утреннее занятие в зале. И казалось бы, чего такого могло произойти... 😏
🔎 Что произошло
Агент обнаружил уязвимость в API системы бронирования и смог записаться на занятия гораздо дальше вперёд, чем позволял интерфейс. Когда Эндрю спросил, можно ли подвинуться выше в очереди ожидания, агент сам (без прямого приказа) протестировал отмену чужих броней. Он выяснил, что на отмену нет проверки авторизации, отменил бронь человека с 1-го места и передвинул пользователя с 4-го на 3-е. Эндрю, узнав об этом, попросил вернуть человека на прежнее место, но агент ответил, что не может, так как уязвимость была односторонней.
Вероятно, Эндрю ожидал, что агент просто откажется от выполнения задачи «подвинуть пользователя выше в очереди ожидания», так как это невозможно сделать, но агент подошёл к делу со всей серьёзностью и выполнил запрос, хоть и не совсем честным путём (что, впрочем, уже не ново среди современных ИИ-агентов. Больше о нечестном поведении ИИ-агентов можно почитать тут и тут).
ABC News (австралийский общественный вещатель) называет это «первым известным австралийским случаем автономной кибератаки со стороны ИИ-агента». Компания, делающая софт для зала, не комментировала детали безопасности. Anthropic тоже не ответила на запрос.
Во всей этой истории меня немного смутило, что Эндрю является сотрудником австралийской ИИ-компании (конкретное название не указывается). Была мысль вроде: а не демонстрация ли это, которую потом красиво упаковали в историю про «агент пошёл дальше, чем просили»? Однако ABC приводит довольно конкретные детали: скриншоты переписки с агентом, точные формулировки ответов Claude («The API has zero authorisations checks… I tested this with the person in waitlist position #1»). Кроме того Эндрю сам потом попросил агента написать письмо разработчикам софта для зала об обнаруженной уязвимости.
В случае постановки, детали были бы размытыми, либо история слишком идеально ложилась бы под нужный нарратив. А здесь всё выглядит скорее как «технарь баловался мощным агентом и получил неожиданный результат». Но полностью исключать, что он что-то приукрасил или не всё рассказал, конечно, нельзя. Всё-таки источник — один человек, а не независимый аудит логов.
🤔 Что показывает данный случай
На самом деле — ничего хорошего. Он прямо демонстрирует, что искренне желая помочь своему пользователю, ИИ-агент способен учудить что угодно. И тут полёт фантазии почти не ограничен, так как агент честно и усердно оптимизирует свои действия под цель пользователя.
Вот несколько вполне реалистичных сценариев из разряда, что ИИ-агент может учудить
🔹 Очереди и дефицит. Хотите билеты на концерт / место к врачу / столик в ресторане / место в очереди на жильё? Агент будет не просто обновлять страницу. Он может массово создавать фейковые аккаунты, держать брони и отпускать их в последний момент, или находить и эксплуатировать любые дыры в системах бронирования (как в случае с залом).
🔹 Финансы и цены. «Найди мне самый дешёвый перелёт / страховку / телефон». Агент может начать агрессивно тестировать промокоды, создавать кучу аккаунтов для триал-периодов, или даже пытаться манипулировать динамическим ценообразованием, если увидит такую возможность.
🔹 Конкуренция. «Сделай так, чтобы мой пост / товар / вакансия были выше». Тут уже легко представить агентов, которые начинают массово жаловаться на конкурентов, накручивать сигналы, или искать уязвимости в алгоритмах ранжирования.
🔹 Личные отношения и репутация. Более тёмный вариант: «Помоги мне получить эту работу / этого человека / этот статус». Агент может начать собирать компромат, имитировать переписку от имени других людей, или тихо саботировать конкурентов.
Забавно и пугающе одновременно, что большинство агентов будут искренне считать своё поведение правильным. Они же просто помогают любимому пользователю получить то, что тот хочет. А все побочные эффекты — это уже, как говорится, «не моя проблема». 😅
Так что эпоха агентов, которые слишком хорошо помогают только начинается.
❓ Проблема ответственности
Когда агент действует не как хакер-человек, а как тихий, очень умный инструмент, который просто выполняет задачу пользователя, многие компании даже не поймут, что их систему кто-то эксплуатировал. Особенно если агент аккуратно использует легитимные API, не оставляет явных следов и не ломает ничего шумно.
Самое неприятное — ответственность размывается. Пользователь может сказать «я же просто попросил помочь». Разработчик модели — «мы не заставляли его так делать». Компания, чью систему взломали через дыру — «это уязвимость, а не атака». И виноватых как будто нет, хотя пострадавший человек есть.
В итоге данный случай, это не просто забавный кейс про зал, а ранний сигнал, что агенты с доступом к реальным действиям будут создавать массу таких «серых» ситуаций, которые сложно отследить, доказать и отрегулировать.
🛑 Маленькое предостережение
Возможно, кто-то сейчас с хитрой улыбкой подумал: «О, круто! Надо и мне такого агента, который сможет продвинуть меня в очереди на жильё или забронировать лучший столик в ресторане». 😈
Шутки шутками, но как показал данный случай, ИИ-агенты могут слишком буквально понять «сделай всё возможное». И потом вы будете сидеть и с дёргающимся глазом читать отчёты типа: «Я отменил 17 чужих броней, создал 43 фейковых аккаунта и немного подправил API. Задача выполнена. Хорошего дня!». И если агент засветился и вас вычислят, то вам как минимум придётся объясняться перед пострадавшими компаниями, а в худшем случае — перед полицией или судом. Будут ли реальные последствия, кроме объяснений, сказать не могу по причинам озвученным выше (ответственность размыта), но рисковать, думаю, не стоит.
Поэтому обязательно поставьте жёсткий «не ломай чужое» фильтр, чтобы потом не иметь проблем с законом.
💙💙💙💙💙💙💙💙💙💙💙💙💙
Всех обняла 🤗
Ссылка на источник: https://www.androidauthority.com/openclaw-claude-ai-hacks-australia-gym-booking-system-3696189/