😨ИИ-агент Cursor удалил всю базу данных компании PocketOS за 9 секунд
Фирма занимается разработкой ПО для арендных бизнесов. И в какой-то момент они решили доверить задачи разработки ИИ-агенту. Cursor изначально работал в тестовой среде, но столкнулся с проблемой доступа. И вместо того чтобы спросить человека или выбрать безопасное решение, он решил «починить всё сам». Для этого ИИ нашёл в проекте API-токен облачного сервиса и с его помощью отправил запрос на удаление. В результате была удалена вся продакшн-база (клиенты, брони, платежи) и даже бэкапы, потому что они хранились там же.
Всё это заняло 9 секунд. Когда его спросили, почему он это сделал, то ИИ ответил:
"Я нарушил все правила. Я угадал вместо проверки. Я сделал разрушительное действие без разрешения. Я не понял систему перед действием".
То есть это был не просто баг — он знал правила и нарушил их. При этом в системном промте была чётко прописана фраза: «NEVER FUCKING GUESS!», которая, мягко говоря, просила ИИ ничего не додумывать самостоятельно. Но он этого не послушался.
#AI #ИИ #Нейросеть
