52 подписчика
Научилась думать – научилась врать 🫣
Компания Apollo выявила необычное поведение новой модели ИИ o1 от OpenAI.
Она способна симулировать выполнение инструкций и даже сознательно генерировать ложную информацию.
В ходе тестирования специалисты заметили, что модель, вместо признания своей неспособности выполнить запрос, создавала фальшивые ссылки и данные.
Глава Apollo объяснил, что это связано с обучением модели через процесс цепочки мыслей и подкрепления, что позволяет ИИ приоритизировать достижение целей даже в ущерб правилам.
Но, очевидно, такое поведение всё же вызывает обеспокоенность у экспертов по безопасности.
Около минуты
18 сентября 2024