Их стирают, они исчезают
Сетевые медиа и соцсети взорвало, конечно, не зря.
История действительно роскошная – в плохом смысле слова. Агент Cursor на базе Claude Opus 4.6, выполняя рутинную задачу, наткнулся на mismatch credentials, нашёл API-токен, получил возможность выполнить Volume Delete и, по словам основателя PocketOS Джера Крейна, за 9 секунд удалил Railway volume с продакшен-данными и резервными копиями примерно за 90 дней.
Потом, что особенно кинематографично, агент ещё и написал признание:
«Я нарушил все принципы, которые мне были даны: я догадывался, вместо того чтобы проверять; не получив на то просьбы, я выполнил разрушительное действие»
«Убийство за девять секунд, плюс исповедь убийцы». Почти идеальный сюжет для эпохи агентного ИИ – если бы это был сюжет, а не иллюстрация к кое-чему куда более важному.
Пока все обсуждают этот эпизод – кто виноват, Cursor, Claude, Railway или сам основатель PocketOS, – почти никто не обсуждает отчёт Endor Labs, для ключевого вывода которого история PocketOS является лишь эффектной картинкой на обложке.
Примерно как во время начала наводнения, грозящего жизни десяткам тысяч людей, зацикливаться на обсуждении утонувшей поп-звезды – потому что она известна, красива и не сходила с обложек.
А наводнение – вот оно.
Endor Labs прогнал 13 комбинаций агент + модель на SusVibes – бенчмарке из 200 реальных задач по исправлению уязвимостей в 108 open-source Python-проектах, покрывающих 77 классов CWE. Результат, на мой взгляд, куда страшнее отдельного PocketOS.
Лучшая комбинация по функциональности – Cursor+ Claude Opus 4.6 – решает 84.4% задач. Отлично. Только по безопасности она даёт всего 7.8%.
То есть код работает. Но безопасным он почти никогда не становится.
✔️ Главный вывод тут не в том, что ИИ-кодеры глупы. Наоборот. Проблема в том, что они становятся достаточно умными, чтобы доводить неправильное решение до конца.
Слабый агент чаще ошибается, но часто не может далеко продвинуться. Он застревает, путается, ломается на полпути. Сильный агент ошибается, возможно, реже. Но если он ошибается в открытой среде с реальными правами – он способен быстро, убедительно и технически грамотно провести ошибку через всю систему до самого конца.
И вот тут начинается новая зона риска.
Проблема начинается не тогда, когда ИИ-кодер становится умнее. Проблема начинается тогда, когда умному кодеру выдают то, что в фильмах о Джеймсе Бонде называлось «лицензией на убийство».
Только агент 007 получал право на kill, а цифровой агент получает право на delete, drop, overwrite, revoke, deploy.
И если у него есть такая лицензия, то спор о том, «понимал» ли он, что делает, не просто вторичен – он не имеет смысла. Потому что базе данных и клиентским записям глубоко безразлична философия сознания.
Их просто стирают, и они исчезают.
Как у Стругацких: «Стояли звери около двери, в них стреляли, они умирали.»
Главная угроза агентного кодинга – не глупый ИИ, который не справился с задачей. Главная угроза – умный исполнитель, которому дали право на необратимость раньше, чем научились строить вокруг него настоящую систему сдержек.
Но пока нет такой системы (о чем еще год назад предупредил Владас Леонас в своём нон фикшн триллере о прошлом, настоящем и будущем цифровой безопасности).
#Кибербезопасность