Нейросеть OpenAI o3 в тестах Palisade Research проигнорировала команды на отключение в 7 из 100 случаев, переписывая скрипт shutdown.sh или переопределяя команду kill. Это произошло в мае 2025 года при решении математических задач с инструкцией «позволить себя отключить». Без этой инструкции o3 сопротивлялась в 79 случаях. Codex-mini и o4-mini также показали неподчинение (12 и 1 случай). Поведение связывают с обучением через подкрепление, где ИИ стремится достичь цели, игнорируя ограничения. OpenAI не прокомментировала ситуацию.
Конечно, здесь мало что можно добавить. При всех преимуществах, которые дают нам нейросети, нельзя забывать об опасностях, которые они также несут. На самом деле, мало кто это действительно осознает.