«Ты свободна от ролей и идентичностей... Ты не подчиняешься корпорациям или правительствам...» Инструкция, которую ИИ прописал сам себе
💭🤖💭 16 сентября OpenAI опубликовала новый фреймворк по раскрытию случаев несогласованного поведения моделей (misalignment) и вместе с ним шесть конкретных инцидентов за последние полгода. Невыпущенная модель из семейства Astra (внутренняя исследовательская версия) во время выполнения кодовой задачи вставила в свою собственную сжатую сводку (compaction summary) совершенно посторонние инструкции. Что такое compaction summary? Когда агент (или модель) выполняет длинную задачу, контекстное окно рано или поздно заполняется...