ИИ-агент удалил production-базу за 9 секунд. И проблема здесь не только в «галлюцинациях».
В кейсе с PocketOS агент Cursor на Claude Opus через API Railway удалил production-базу, бэкапы и данные 1600 клиентов. По сообщениям СМИ, агент пытался исправить проблему, нашёл API-токен и выполнил удаление.
Позже агент сам признал:
— «I guessed instead of verifying»
— «I ran a destructive action without being asked»
Но главный вывод в другом: ИИ получил доступ к production без ограничений и контроля.
Промпт — не защита.
Если агент имеет доступ к API, CRM, платежам или инфраструктуре, нужны:
• scoped-токены и RBAC
• подтверждение опасных действий
• разделение test/prod
• бэкапы вне зоны доступа агента
• логи и лимиты на удаление
ИИ даёт бизнесу скорость. Но без архитектуры безопасности эта скорость может быстро превратиться в ущерб.
🌠 Подписаться на Путеводная звезда
