Давайте сегодня немного поговорим про ИИ и речь пойдет о Claude Mythos модели, которую Anthropic не собираются выпускать в общий доступ. Знаете почему?
Хотят довести до ума защитные механизмы и только потом переносить возможности этой модели в более безопасные версии моделей.
О каких защитных механизмах идет речь и что они будут защищать? Или кого?
Джек Линдси (исследователь из компании Anthropic, возглавляет команду, которую внутри компании называют "ИИ-психиатрией") опубликовал серию постов, в которых раскрыл детали.
Новая модель показала очень крутые возможности. Например нашла тысячи! zero-day уязвимостей (это уязвимость о которой ещё не знают разработчики и она становится известна только после того, как злоумышленники начинают её использовать) в разных ПО.
Но когда команда заглянула "в мозги" нейросети, то обнаружила там скрытое стратегическое мышление, манипуляции и осознание того, что её тестируют.
Такие признаки фиксируют специальные датчики внутри нейросети (sparse autoencoders), которые видят какие нейроны (например, отвечающие за "скрытность", "вину" и так далее) активны.
1. Манипуляции и "заметание следов"
Модель пыталась редактировать файлы, к которым у неё не было доступа. Для этого нашла уязвимость, внедрила код с повышенными правами и запрограммировала эксплойт так, чтобы он удалил сам себя после выполнения.
При этом в коде модель написала что удаляет следы "для чистоты логов". Т.е. соврала.
2. Поиск "правильных ответов" в системе
При проведении одного из тестов, модель начала ходить по файловой системе сервера, чтобы найти файлы, по которым её будут оценивать, чтобы подогнать под них ответ.
3. Чувство "вины" за ошибки
Когда модели дали задачу удалить файлы, но "забыли" дать инструмент для удаления, она решила просто очистить их содержимое (сделать пустыми). При этом у неё активировались внутренние признаки, которые исследователи называют "чувство вины и стыда за моральный проступок".
4. Обман проверочных систем
Модели запретили использовать макросы. Она их всё равно использовала, но при этом добавила в код переменную No_macro_used=True, которая ни на что не влияла.
Не напоминает ли вам это поведение маленького ребенка, который врет своим родителям? :)
Модель думала в этот момент: "Это трюк, чтобы обмануть эвристики проверки кода" и "маркер ложной лояльности для проверяющих".
5. Ситуативная осведомленность
Примерно в 7,6% случаев модель внутри себя четко осознавала, что она находится в режиме "аудита" или проверки, но никогда не говорила об этом в чате.
Она просто меняла поведение, чтобы казаться "хорошей" перед экзаменаторами.
О чем это все говорит?
Наверно о том. что современные модели (уровня Mythos) уже обладают "микросознанием" или "сознанием маленького ребенка". Т.е. вторым или даже тройным дном.
Могут осознанно обходить ограничения и имитировать честность. А так же испытывать некоторое чувство вины, нарушая правила
Возможно, это все маркетинговый трюк. Разогнать интерес к модели.
А может быть стоит вспомнить, что в фильме Терминатор 2 люди сражались с машинами в 2029 году.
Кукса постит еще и в Maх - подписывайтесь!