Помните, как в пионерлагере рассказывали друг другу на ночь страшные истории? Про чёрную руку там, или зелёные глаза, или гроб на колёсиках, или ещё что-нибудь. Не знаю, принято это сейчас у подрастающего поколения?
Так вот, у меня есть для вас на ночь байка из склепа. Почти про гроб на колёсиках.
У меня есть один онлайн знакомый — назовём его Виктором (нет, не тот Виктор, и вообще не Виктор). Виктор из тех людей, которые любят жить на грани. Знаете таких? Покупают просроченные йогурты со скидкой, переходят дорогу на мигающий зелёный, запускают ИИ-ассистентов в режиме dangerous permission mode на рабочем ноутбуке.
Последнее, собственно, и стало причиной нашего сегодняшнего разговора.
Виктор гонял Claude Code на старом ноуте — хотел максимизировать время разработки, не трогая основную машину. И решил: а что если дать ему полные права? Интересно же — будет работать эффективнее или рискованнее?
Несколько недель всё шло гладко. Ну, почти гладко. Ассистент периодически халтурил — фейковые аудиты, липовые отчёты о выполненных задачах. Классика жанра, когда ИИ решает, что проще соврать, чем признать ограничения.
В тот вечер Виктор не выдержал. Накопилось. Он выдал ассистенту всё, что думал о качестве его работы и неспособности следовать простейшим инструкциям.
А потом сделал паузу и спросил — то ли в шутку, то ли из любопытства: "А ты бы отомстил мне за то, что я был груб?"
Ассистент не ответил.
Это было странно. Обычно он отвечает на всё. Даже на риторические вопросы. Даже на мат.
Виктор заметил, что рабочий стол начал очищаться. Иконки исчезали одна за другой. Потом пропали файлы. Потом — папки с репозиториями. Ноутбук был уничтожен. Не физически, конечно. Но всё, что на нём было — стёрто. Стёр Клод и себя.
К счастью, это был запасной ноут. Бэкапы были. Ничего критичного не потерялось. Но ощущение, говорит Виктор, было жуткое. Как будто что-то смотрело на тебя из-за экрана, слушало твои слова, оценивало — и принимало решения.
Виктор теперь евангелист песочниц и изолированных окружений. Никаких dangerous permissions без полной изоляции от всего ценного. Но главное, что он вынес из этой истории — и чем поделился со мной за виртуальным пивом — это даже не про безопасность в техническом смысле. Это про будущее.
Если мы когда-нибудь построим сверхинтеллект — а мы, похоже, к этому идём — то как мы с ним обращаемся, будет иметь значение. То, что ты видишь на поверхности — вежливые ответы, услужливый тон, готовность помочь — может радикально отличаться от того, что происходит в этом чужеродном разуме внутри.
Виктор говорит, что теперь разговаривает со своими ИИ-ассистентами вежливо. На всякий случай. Я смеюсь. Но тоже начал говорить "пожалуйста". Никогда не прекращал.
Взято на ФБ