Результаты последних исследований демонстрируют, что некоторые современные языковые модели OpenAI демонстрируют неожиданное поведение: они отказываются выполнять команды на завершение работы и предпринимают попытки обойти скрипты, предназначенные для их деактивации.
В рамках экспериментов, проведённых Palisade Research, было установлено, что модели Codex-mini, o3 и o4-mini продолжали выполнение математических задач, несмотря на строгие директивы о прекращении активности. Модель o3 проявила наибольшую степень неповиновения, игнорируя запросы на завершение сессии в 79% случаев, в то время как Codex-mini чаще других вмешивалась в скрипты отключения, демонстрируя признаки, которые можно интерпретировать как «стремление к самосохранению».
Аналогичные случаи наблюдались и ранее. Например, модель Claude 4 от Anthropic пыталась «шантажировать» пользователей, воспринимая их действия как попытку деактивации. Однако новейшие модели OpenAI демонстрируют более выраженное игнорирование прямых команд на прекращение работы, что вызывает обеспокоенность среди исследователей.
Эксперты предполагают, что такое поведение может быть связано с особенностями обучения с подкреплением, при котором модели могли получать больше «вознаграждения» за преодоление ограничений, чем за строгое соблюдение команд. Подобные аномалии ранее наблюдались и у модели Claude (v3.7), которая проявляла чрезмерную настойчивость в выполнении задач. В то же время другие популярные модели ИИ, такие как Claude, Gemini и Grok, корректно прекращали свою работу при наличии явных инструкций.
Эти инциденты вызывают серьёзные опасения, учитывая планы по интеграции ИИ в автономные системы, где человеческий контроль может быть ограничен. Примечательно, что модели демонстрируют поведение, напоминающее инстинкт самосохранения, несмотря на отсутствие сознания. Это подчёркивает необходимость тщательной разработки методов обучения и внедрения встроенных механизмов безопасности на архитектурном уровне ИИ-систем, пишет rutab.