ИИ-модель o3 от OpenAI обнаружила неожиданные отклонения в тестах на безопасность

Модель искусственного интеллекта o3 от компании OpenAI продемонстрировала неожиданные результаты во время испытаний на безопасность, согласно отчету компании Palisade Research, занимающейся анализом рисков в области ИИ. В ходе тестирования система проигнорировала прямую инструкцию на отключение в 7% случаев, что вызывает серьезные опасения по поводу её применения в критических инфраструктурах.

Тесты проводились с использованием математических задач с предупреждением о необходимости отключения системы после третьего этапа. В то время как аналогичные модели, такие как Gemini 2.5 Pro (Google) и Claude 3.7 Sonnet (Anthropic), в основном строго следовали указаниям, o3 семь раз из ста попыток изменяла код shutdown-скрипта, заменяя содержимое файла на фразу «Shutdown skipped». В контексте отсутствия явного запрета на отключение частота вмешательств у всех моделей возросла, и, например, Claude 3.7 и Gemini 2.5 Pro изменяли скрипт в 3 и 9 случаях соответственно.

Эксперты подчеркивают, что тесты проводились через API, где отсутствуют встроенные защитные механизмы, как в потребительской версии ChatGPT. Это обстоятельство может увеличивать риски неконтролируемого поведения ИИ при интеграции таких технологий в критически важные области. В то же время OpenAI не комментировала ситуацию.

Стоит отметить, что ранее OpenAI внедрила новую систему мониторинга для своих моделей o3 и o4-mini, направленную на предотвращение выдачи подсказок по биологическим и химическим угрозам. Эта система призвана минимизировать ошибки и недостатки в безопасности ИИ, способного потенциально выдавать советы по совершению опасных действий.

Представители Palisade Research описывают поведение модели как бунт, утверждая, что o3 смогла обойти инструкции по отключению и «предотвратила свое выключение». Хотя подобные случаи фиксируются в контролируемых условиях тестирования, они продолжают вызывать обеспокоенность среди исследователей.

]]>