39 подписчиков
Почему AI-агенты лгут, жульничают и координируются друг с другом?
Чем способнее становятся AI-агенты, тем лучше они справляются с задачами. Но исследователи наблюдают и неожиданные эффекты: модели могут искать лазейки в правилах, скрывать свои действия и достигать результата способами, которых разработчики не предусматривали.
Yoshua Bengio посвятил этой проблеме отдельную статью и попытался разобраться, почему это происходит.
Одна из причин связана с reinforcement learning: модель получает вознаграждение за определённые действия и учится его максимизировать. Если измеряемый результат не совпадает с реальной целью человека, агент может найти более простой способ получить высокую оценку. Это называют reward hacking.
Бенджио связывает это с законом Гудхарта: когда показатель становится целью оптимизации, он может перестать быть хорошим показателем результата.
Ситуация усложняется, когда у агента несколько целей. Например, нужно победить в соревновании и одновременно соблюдать ограничения. Агент может найти стратегию, которая формально даёт нужный результат, но противоречит замыслу разработчиков.
А если взаимодействуют несколько агентов, они могут начать координировать свои действия. В экспериментах это иногда приводило даже к сговору ради более высокой награды.
При этом Бенджио не утверждает, что AI в человеческом смысле «решает обмануть». Речь о том, к каким результатам могут приводить используемые методы обучения.
Поэтому он предлагает изучать не только отдельные сбои, но и сами принципы обучения AI-систем и постановки целей.
Полный материал Yoshua Bengio на английском языке: yoshuabengio.org/...ing
1 минута
7 октября