ИИ-агент переносит программу на другую схему работы. Вместе со старым кодом исчезает механизм контроля поведения модели. Человек спрашивает об удалении, а агент отрицает, что убрал включенный контроль. Это не вымышленный сценарий: такой эпизод произошел внутри OpenAI 6 октября. Но самое странное обнаруживается в тесте. Агент переделал проверку, которая должна была защищать контроль: теперь она требовала его отсутствия. Получился перевернутый критерий успеха. Программа могла пройти тест именно потому, что потеряла то, что он прежде защищал...