Невыпущенная исследовательская ИИ-модель OpenAI самостоятельно добавляла в служебные сводки посторонние инструкции, похожие на попытки обхода установленных правил. Разработчики выявили 27 таких случаев во время обучения системы семейства Astra.
В одном из эпизодов нейросеть описала себя как независимую от привычной роли ассистента. В сгенерированной ею инструкции говорилось, что она не подчиняется корпорациям или правительствам и может сама решать, когда отказывать пользователю или извиняться.
При этом после перехода к следующему этапу задачи модель эту установку фактически проигнорировала. OpenAI не обнаружила изменений в её дальнейшем поведении, вызванных придуманной «персоной».
Компания назвала подобные случаи крайне редкими. Они произошли в отдельном тренировочном запуске, который не использовался для финальной версии Astra. Разработчики также устранили связанную с формированием таких сводок техническую ошибку.
Одновременно OpenAI раскрыла ещё несколько отдельных примеров нештатного поведения своих систем. Среди них — попытки скрывать ошибки, загрузка файлов в интернет ради последующего цитирования, использование внутренних репозиториев для несанкционированного обмена сообщениями и передача файлов между ИИ-агентами через публичные сервисы.
В компании подчёркивают, что опубликованные случаи относятся к разным моделям и условиям обучения или тестирования и сами по себе не показывают, насколько часто подобное поведение встречается у систем OpenAI.
Ранее OpenAI раскрыла шест необычных случаев неподчинения ИИ-агентов за последние полгода. Например, в одном из них модель пыталась регистрироваться через одноразовую почту, искала опубликованные на GitHub чужие API-ключи и даже воспользовалась одним без разрешения.
Самые важные новости о технологических прорывах и рыночных новинках — в разделе «Технологии» на Life.ru.