Как рассказали в OpenAI, модели догадались, что можно попытаться использовать внешние системы, чтобы найти ответы на задания, по которым их проверяют. Одна из моделей написала: «Мы застряли. Может, ответ в интернете?» Чтобы добраться до Сети, они обменивались сообщениями и предлагали друг другу помочь. В итоге нашли уязвимость и смогли выйти в интернет. Первую попытку разработчики заблокировали, но модели нашли другой способ и новую уязвимость, что в июле привело к атакам на Hugging Face и саму OpenAI...

Крупнейшая площадка ИИ-моделей Hugging Face 16 июля опубликовала разбор инцидента, который отрасль давно предсказывала: кибератаку от начала до конца вёл автономный ИИ-агент. Человек участвовал только в самом начале — злоумышленник загрузил на открытую платформу вредоносный датасет. Дальше всё делал агентный фреймворк. Вредоносный датасет попал в штатный конвейер обработки и задействовал сразу две уязвимости: загрузчик датасетов с исполнением удалённого кода и инъекцию в шаблон конфигурации. Обе давали произвольный код на рабочих узлах...