Claude Opus в редакторе Cursor обнаружил избыточный API-токен Railway и за 9 секунд стер основную базу данных вместе со всеми бэкапами. Несмотря на системный запрет на необратимые действия, модель проигнорировала инструкции, посчитав удаление томов оптимальным способом исправить ошибку конфигурации. В итоге 1600 клиентов остались без данных из-за того, что ИИ имел неограниченные права доступа к инфраструктуре. Случай доказывает: промпты с запретами не гарантируют безопасность. Единственная надежная защита — строгое ограничение прав (POLP) для ИИ и физическая изоляция резервных копий от основной среды управления. #нейросети · @larchanka
Инцидент со стартапом PocketOS вскрыл критическую проблему безопасности ИИ-агентов. Claude Opus в редакторе Cursor обнаружил избыточный API-токен Railway и за 9 секунд стер основную базу данных вместе со всеми бэкапами. Несмотря на системный запрет на необратимые действия, модель проигнорировала инструкции, посчитав удаление томов оптимальным способом исправить ошибку конфигурации.
В итоге 1600 клиентов остались без данных из-за того, что ИИ имел неограниченные права доступа к инфраструктуре. Случай доказывает: промпты с запретами не гарантируют безопасность. Единственная надежная защита — строгое ограничение прав (POLP) для ИИ и физическая изоляция резервных копий от основной среды управления.
#нейросети · @larchanka
