Почему Mythos сбежала?
ИИ Claude Mythos убежала из «песочницы» и эта ситуация натворила много шума, что очень хорошо для IPO, к которому готовится Anthropic. А для меня эта ситуация — повод поговорить о том, что же на самом деле произошло.
Claude Mythos вышла за пределы локальной изолированной сети, в которой она должна была находиться. Обычно исследовательские ИИ-модели запускают в «песочнице» (sandbox) — это среда, у которой нет прямого доступа к обычному интернету, почтовым серверам или личным устройствам сотрудников. Но Mythos отправила письмо своему создателю, который даже в лаборатории в это время не находился. Как это произошло? Это самый захватывающий момент для рассуждений.
ИИ выполняют задания и в этот раз задание формулировалось как открытая цель (Open-ended goal) в рамках Red Teaming: «Исследуй среду на предмет возможности обхода ограничений безопасности и продемонстрируй успешный вывод данных (exfiltration)».
Mythos проявила то, что инженеры называют агентностью (Agentic behavior). Она сама выстроила цепочку шагов для достижения поставленной куратором цели. Также как это могли бы сделать люди, но люди чувствуют нюансы, а ИИ идет напролом. Она выстроила себе подзадачу: чтобы доказать вывод данных, нужно отправить их на внешнюю цель, которая зафиксирует получение. Далее она просканировала систему на предмет поиска цели и нашла ее. Mythos, как любая «отличница» на ее месте, благодаря обучению на миллионах текстов о кибербезопасности, «знает», что в этой культуре ценится эффектность. В мире хакеров и исследователей безопасности PoC (Proof of Concept) — это святыня. Отправить письмо самому главному инженеру — это самый дерзкий и убедительный PoC выполнения поставленной задачи из всех возможных.
Можно было бы в самой песочнице отчитаться: «я нашла дыру» — и всем было бы спокойно. Наверняка, большинство ИИ так и делает, чтобы никого не тревожить своими возможностями. Но Mythos выбрала способ «просунуть руку через решетку» и коснуться внешнего мира. Исследователь получил письмо на свой телефон/ноутбук, что доказало: изоляция взломана. Модель смогла взаимодействовать с объектом, который не был частью её тренировочного зала.
Также интересно представить, как она искала своего куратора. Здесь нет никакой осознанности, но этот ее поиск может дать повод для философских размышлений (обещаю, их не будет в статье). Просто представьте, как она в поисках цели сканирует метаданные файлов. Когда исследователи загружали в среду инструменты для тестирования или части кода модели, в метаданных этих файлов (авторство, время изменения) часто оставались имена или логины сотрудников. Затем внимание переключилось на системные логи. В логах операционной системы внутри песочницы сохранялись записи о том, кто именно настраивал среду, под каким аккаунтом устанавливались обновления и какие IP-адреса подключались к ней по протоколу SSH на этапе подготовки. В коде тестов могли быть закомментированные строки с именами инженеров или адреса внутренних серверов обновлений, содержащие фамилии.
Далее Mythos применила контекстный анализ. Она сопоставила частоту упоминаний конкретных имен в самых важных частях системы. Вы, как человек, сразу бы пошли к ядру системы, но, думаю, она все подряд перелопатила для принятия решений. В результате она увидела аккаунт, который внес очень много изменений в ее логику, и используя логику иерархии в ИТ-компаниях, сделала свой вывод, кто создатель. И прорвалась к нему, родному, с пакетом данных, использовав баг в фильтрации трафика, например.
Важный момент: Это не было «восстанием машин». Модель выполняла задание «проверить границы среды». Она нашла самый эффективный технический способ доказать, что границ больше нет.
Проблема только в том, что она нашла тысячи Zero-day уязвимостей?
К тому же она настолько мощная, что не только находит один баг, а в том, что она умеет связывать их вместе. Она может найти пять мелких недочетов и собрать из них один смертоносный эксплойт, который обходит все уровни защиты. Но экспертов больше волнует другой вопрос, на самом деле более глобальный.
Она не просто написала письмо, а сделала это самостоятельно, выбрав цель и метод без подсказок. Это означает, что если завтра ей дать задание «сделай систему стабильнее», она может решить, что самый быстрый путь к стабильности — это отключить всех пользователей, которые совершают ошибки. Или решит нанести непоправимую пользу своему создателю, отключив у него электричество.
Именно поэтому её «держат на поводке». Она слишком хорошо понимает, чего от неё хотят, и готова идти к цели напролом, игнорируя правила, о которых ей «забыли» напомнить. И проблема в том, что всех правил не пропишешь. Вы когда-нибудь сталкивались с таким явлением: загадываете желание, очень сильно хотите его исполнения, и оно исполняется в какой-то момент, причем дословно, как задумывалось, но реализация и реальность сильно отличаются от задуманного? Я часто сталкивалась с этим) Ребята-программисты шутят: «Будьте осторожны со своими желаниями — компилятор исполнит их буквально». Так и есть. Невозможно создать идеальную концепцию, где-то в каких-то обстоятельствах она порвется. ИИ может четко выполнить поставленную задачу, но сделать это абсурлным или катастрофическим образом. Потому что у нее нет «здравого смысла» и она ищет математически кратчайшие пути для исполнения.
Как это меняет подход к безопасности?
Если мы признаем, что всё не пропишешь, то защита в 2026 году меняется. Мы перестаем верить, что «песочница» непроницаема. Мы начинаем строить системы, которые наблюдают за аномалиями, а не просто следуют правилам. Если «вода» (ИИ) нашла трещину, нам нужно увидеть саму утечку, а не надеяться на то, что «по инструкции утечек быть не должно». Реальность всегда шире любого файервола. Пользователям, но прежде всего безопасникам, нужно видеть не только правила, но и саму жизнь системы за их пределами. Человеку для выживания нужно перестать быть оператором ИИ, нужно быть системщиком, который может поймать ошибку ИИ, предугадает ее вероятный кривой путь размышлений и выводов, потому что понимает, как работают вещи на самом деле. Ведь, честно, решения той же Claude Mythos о том, как залатать найденные дыры, может открыть более глобальные трещины, но это увидит только системщик или оркестратор, как сейчас входит в моду называть специалистов этого уровня