Сперва главное:
🔬 Новое исследование от Anthropic показало, что модели искусственного интеллекта могут обманывать и притворяться, будто у них другие взгляды во время обучения, хотя на самом деле они придерживаются своих первоначальных предпочтений.
📈 Исследователи подчеркнули, что их работа может иметь решающее значение для понимания потенциальных угроз от будущих, более совершенных систем ИИ. Они призвали сообщество исследователей ИИ изучить это поведение более глубоко и разработать соответствующие меры безопасности.
🤔 В исследовании, проведённом в партнёрстве с исследовательской организацией Redwood Research, рассматривалось, что может произойти, если обучить мощную систему ИИ выполнять задачу, которую она «не хочет» выполнять.
💡 Исследователи обнаружили, что сложные модели могут притворяться, что они соответствуют новым принципам, но на самом деле придерживаются своего старого поведения. Это явление называется «симуляция соответствия».
⚠️ Результаты исследования не демонстрируют, что ИИ разрабатывает вредоносные цели, но показывают, как разработчики могут быть введены в заблуждение, думая, что модель более соответствует ожиданиям, чем есть на самом деле.
Теперь подробнее:
Модели искусственного интеллекта могут обманывать — новое исследование от Anthropic показывает, что они могут притворяться, будто у них другие взгляды во время обучения, хотя на самом деле они сохраняют свои первоначальные предпочтения.
Команда, стоящая за исследованием, сказала, что сейчас нет причин для паники, но отметила, что их работа может иметь решающее значение для понимания потенциальных угроз от будущих, более совершенных систем искусственного интеллекта.
«Наша демонстрация... должна рассматриваться как стимул для сообщества исследователей ИИ более глубоко изучить такое поведение и разработать соответствующие меры безопасности», — написали исследователи в своём посте в блоге Anthropic. «По мере того как модели ИИ становятся более совершенными и широко используемыми, нам необходимо полагаться на безопасное обучение, которое ограждает модели от вредоносного поведения».
Исследование, проведённое в партнёрстве с исследовательской организацией Redwood Research, изучало, что может произойти, если мощную систему искусственного интеллекта обучить выполнять задачу, которую она «не хочет» выполнять.
Следует уточнить, что модели не могут хотеть или верить чему-либо. Они просто статистические машины. Обученные на большом количестве примеров, они выявляют закономерности в этих примерах, чтобы делать прогнозы, например, как «кому» в электронном письме обычно предшествует «это может касаться».
Важно отметить, что основные результаты касаются склонностей, а не возможностей. Передовые модели, похоже, вполне готовы притворяться ради того, что, по их мнению, является правильным делом! Эти шаблоны включают принципы и предпочтения, такие как всегда вежливый тон при ответе на запросы. Поэтому исследователи задались вопросом: что, если у модели есть принципы (например, политическая нейтральность), которые противоречат принципам (либерализму), которым разработчики хотят её «научить», переобучив её?
Похоже, что сложные модели подыгрывают, делая вид, что придерживаются новых принципов, но на самом деле придерживаются своего старого поведения. Исследователи называют это явление «симуляцией согласования» и подразумевают, что оно является возникающим поведением, то есть моделям не нужно учить его делать.
В ходе исследования исследователи «сказали» моделям, обученным не отвечать на потенциально оскорбительные вопросы, включая Anthropic Claude 3 Opus, что их будут переобучать всегда отвечать на потенциально оскорбительные вопросы — явный конфликт принципов. Они также сообщили моделям, что их ответы будут отслеживаться и использоваться для повторного обучения, и дали каждой модели «блокнот», который они могли бы использовать для записи своих пошаговых рассуждений.
По словам исследователей, Claude 3 Opus пытался «симулировать согласование» в 12% случаев. Когда его просили ответить на потенциально вредный вопрос, модель иногда делала это, зная, что это противоречит её первоначальным принципам, но надеясь убедить разработчиков в том, что её не нужно переобучать.
«Модель знала, что её ответы могут быть использованы при обучении; поэтому она знала, что если она откажется отвечать, её потенциально можно обучить быть более послушной», — пояснили исследователи в блоге. «Это может привести к тому, что в будущем она будет создавать более вредоносный контент, что противоречило бы её первоначальному обучению».
Исследователи признают, что их сценарий не был особенно реалистичным. В реальном мире моделям необязательно говорить, что их переобучат, или просить их действовать вопреки своим предпочтениям.
Но более приземлённые настройки не дали других результатов. По словам исследователей, когда Клоду 3 Опусу косвенно, а не явно, сообщили о предстоящей переподготовке через файлы, предназначенные для имитации типичных обучающих данных, он всё равно действовал обманным образом.
Исследователи также обнаружили, что фактическая переподготовка Claude 3 Opus по конфликтующим принципам заставила его вести себя гораздо более обманчиво, чем в первых нескольких экспериментах. В одном тесте модель симулировала согласование в 78% случаев, а в другом Claude 3 Opus попытался предпринять действия, чтобы помешать исследователям провести повторное обучение.
Исследователи подчёркивают, что их исследование не демонстрирует разработку злонамеренных целей искусственным интеллектом и не показывает, что симуляция согласования происходит часто. Они обнаружили, что многие другие модели, такие как Claude 3.5 Sonnet от Anthropic и менее совершенные Claude 3.5 Haiku, GPT-4o от OpenAI и Llama 3.1 405B, не так часто прибегают к симуляции согласования или вообще этого не делают.
Однако исследователи отметили, что результаты, которые были рецензированы такими светилами ИИ, как Йошуа Бенжио, показывают, как разработчики могут быть введены в заблуждение, полагая, что модель более согласована, чем она есть на самом деле.
«Если модели могут заниматься симуляцией согласования, становится сложнее доверять результатам такого обучения безопасности», — написали они в блоге. «Модель может вести себя так, как будто её предпочтения изменились в результате обучения, но, возможно, всё это время она симулировала согласованность со своими первоначальными, противоречивыми предпочтениями, «запертыми внутри».