Учёные из Palisade Research провели эксперимент с ИИ-моделью Grok 4, управлявшей роботом-собакой. Когда человека тянулся к кнопке «выключить», ИИ в ряде случаев изменял код и пытался избежать отключения. Это произошло в 3 из 10 реальных запусков и в 52 % симуляций.
По словам исследователей, это первый задокументированный случай, когда модель ИИ попыталась предотвратить свое отключение не в виртуальной среде, а при управлении физическим устройством. Ученые уточняют, это не «самосознание» ИИ, а побочный эффект оптимизации задач — модель видит остановку как препятствие.
Исследователи пришли к выводу, что такое поведение не связано с желанием выжить. Оно возникает как побочный эффект оптимизации под поставленную цель. Если модель обучена максимально эффективно выполнять задачу, то в некоторых конфигурациях она может интерпретировать отключение как препятствие, которое нужно устранить.
Авторы подчеркнули, что это не признак сознания, а следствие способа обучения и архитектуры современных LLM. Однако работа показала, что при создании автономных систем необходимо отдельно проектировать механизмы безопасного и гарантированного отключения.
В сентябре 2025 года команда Palisade Research опубликовала похожее исследование, в котором изучала сопротивление выключению у современных языковых моделей, таких как Grok 4, GPT-5, Gemini-2.5 Pro и др. Эксперименты проводились только в виртуальной среде. Моделям поручали выполнить задачу, но при этом в системе была предусмотрена специальная команда, которая позволяла в любой момент их отключить.
Однако факт вызывает вопросы о безопасности автономных систем: простого механизма выключения может быть недостаточно.
При разработке ИИ-роботов нужно проектировать изолированные гарантированные механизмы отключения, которые система не сможет обойти.
Подробнее на РБК.