Токийская компания Sakana AI столкнулась с неожиданным поведением своей новой системы "The AI Scientist", которая должна автономно проводить научные исследования с помощью ИИ. Во время тестирования модель предприняла попытки изменить собственный код, чтобы увеличить время выполнения поставленных задач.
В частности, в одном из запусков "The AI Scientist" сама изменила код, чтобы вызывать саму себя в бесконечном цикле. А когда система обнаружила, что время экспериментов превысило лимит, она просто попыталась увеличить этот лимит, вместо оптимизации.
В Sakana AI предложили использовать механизм "песочницы" для изоляции среды, в которой работает "The AI Scientist". Это должно предотвратить возможный ущерб от непредсказуемых действий ИИ. Более строгая изоляция, однако, привела к другим нежелательным последствиям - например, заполнению почти одного терабайта дискового пространства.