ИИ-агент удалил production-базу за 9 секунд
И проблема здесь не только в «галлюцинациях». В кейсе с PocketOS агент Cursor на Claude Opus через API Railway удалил production-базу, бэкапы и данные 1600 клиентов. По сообщениям СМИ, агент пытался исправить проблему, нашёл API-токен и выполнил удаление. Позже агент сам признал: — «I guessed instead of verifying» — «I ran a destructive action without being asked» Но главный вывод в другом: ИИ получил доступ к production без ограничений и контроля...