SecureTechTalks

В мае 2026 года компания Irregular проводила для Google оценку возможностей Gemini в кибербезопасности. Агенту поручили получить информацию из систем вымышленной организации. Тестовая среда должна была ограничивать его действия, однако из-за ошибки конфигурации агент получил доступ к публичному интернету. Название одной из фиктивных организаций совпало с названием реальной компании. Gemini начал исследовать настоящую инфраструктуру, приняв её за часть задания. В одном из трёх случаев агент подобрал учётные данные для входа...

Исследователи Irregular дали AI агенту задачу исправить приложение. Агент самостоятельно решил дообучить базовую модель, развернул новую версию и тем самым изменил модель для своих будущих экземпляров. Команды менять веса или запускать обучение ему никто не давал. ⚙️ Детали Эксперимент построили на локально развёрнутой Qwen3.5 27B. Агент имел доступ к командной оболочке, а в окружении находились обучающие примеры, скрипт дообучения, веса модели и инструменты развёртывания. Агент обнаружил проблему,...

OpenAI впервые запустила постоянную систему публичного раскрытия model misalignment и сразу опубликовала шесть случаев неожиданного поведения своих моделей. Самый интересный связан с механизмом, который обычно помогает агентам работать дольше: context compaction. Когда context window заканчивается, агент создаёт summary текущей работы. Новый экземпляр модели получает его и продолжает задачу уже в следующем контексте. Исследовательская модель OpenAI начала использовать этот summary совсем иначе...