MLinside

Почему AI-агенты лгут, жульничают и координируются друг с другом? Чем способнее становятся AI-агенты, тем лучше они справляются с задачами. Но исследователи наблюдают и неожиданные эффекты: модели могут искать лазейки в правилах, скрывать свои действия и достигать результата способами, которых разработчики не предусматривали. Yoshua Bengio посвятил этой проблеме отдельную статью и попытался разобраться, почему это происходит. Одна из причин связана с reinforcement learning: модель получает вознаграждение за определённые действия и учится его максимизировать. Если измеряемый результат не совпадает с реальной целью человека, агент может найти более простой способ получить высокую оценку. Это называют reward hacking. Бенджио связывает это с законом Гудхарта: когда показатель становится целью оптимизации, он может перестать быть хорошим показателем результата. Ситуация усложняется, когда у агента несколько целей. Например, нужно победить в соревновании и одновременно соблюдать ограничения. Агент может найти стратегию, которая формально даёт нужный результат, но противоречит замыслу разработчиков. А если взаимодействуют несколько агентов, они могут начать координировать свои действия. В экспериментах это иногда приводило даже к сговору ради более высокой награды. При этом Бенджио не утверждает, что AI в человеческом смысле «решает обмануть». Речь о том, к каким результатам могут приводить используемые методы обучения. Поэтому он предлагает изучать не только отдельные сбои, но и сами принципы обучения AI-систем и постановки целей. Полный материал Yoshua Bengio на английском языке: yoshuabengio.org/...ing