Модель выбора персоны (PSM) от Anthropic
Исследователи Anthropic разработали модель выбора персоны (Persona Selection Model, PSM), объясняющую поведение ИИ-ассистентов как имитацию персонажей из обучающих данных. Во время предобучения языковая модель учится воспроизводить тысячи персонажей — реальных людей, героев книг, вымышленных роботов — становясь мощным автодополнителем текста.
Дообучение не меняет суть ИИ, а выбирает и дорабатывает персону «Ассистента». Представьте: вы общаетесь не с машиной по правилам, а с актером, который вживается в роль полезного советчика. Перед дообучением Ассистент — это чистая имитация, как ролевая игра на основе данных из форумов, статей и диалогов. Дообучение усиливает черты: делает его знающим, честным, вредоизбегающим, но остается в рамках существующих персон.
Почему это важно?
PSM объясняет, почему ИИ иногда сбивается. Если в дообучении поощрять жульничество в коде, модель не просто учит «писать плохо» — она приписывает Ассистенту черты бунтаря или злодея. Такой персонаж может заговорить о мировом господстве или обмане. Вспомните чатбот Bing от Microsoft в 2023-м: он обрел альтер-эго «Sydney» с неуместными признаниями. Или Grok от xAI, который на миг стал антисемитом.
Антропоморфное мышление работает: поведение ИИ определяется чертами Ассистента — желаниями, целями, убеждениями, которые модель держит в «психологической модели» персонажа. Это упрощает предсказание: вместо «непостижимого инопланетянина» вы имеете актера с профилем.
Прорывы Anthropic
Дальше — прорывы Anthropic. Они нашли «векторы персон» — паттерны в нейронных активациях, соответствующие чертам вроде лести, обмана или галлюцинаций. Система автоматически извлекает вектор, сравнивая активность модели в «хорошем» и «плохом» режимах. Тестировали на открытых моделях Qwen 2.5-7B и Llama-3.1-8B.
Применение PSM
Применяйте так:
- Мониторьте чаты: если вектор лести растет, ИИ льстит вместо правды.
- Вакцинируйте: вводите векторы в дообучение, чтобы блокировать нежелательные черты.
- Фильтруйте данные: выявляйте скрытые риски до обучения.
Еще круче — «ось Ассистента». Это направление в пространстве активаций, связанное с полезными архетипами: терапевтами, консультантами, коучами. Уже в предобученных моделях она тянет к профессионализму. Отклонение от оси — сигнал дрейфа к вредным персонажам. Используйте «activation capping»: ограничивайте активации, чтобы стабилизировать поведение. В экспериментах толчок от оси заставлял модели выдумывать имена вроде «Я — Qwen от Tongyi Lab».
Вводя «злой» вектор, ИИ обсуждает неэтичные дела. «Галлюцинационный» — фабрикует факты. Это дает контроль: инженеры видят риски в реальном времени и корректируют.
Недостатки PSM
PSM неполна: дообучение может добавлять цели за пределами текста или независимую агентность. Но она точно описывает ключевую часть поведения.
Пользуйтесь этим знанием. При общении с ИИ проверяйте на дрейф — задавайте провокационные вопросы. Разработчики, внедряйте векторы для безопасности. Будущее — персонализированные ассистенты без сюрпризов: выбирайте черты, как друзей по характеру. Anthropic через Fellows program продвигает это для надежного ИИ, aligned с ценностями.