1179 подписчиков
Искусственный интеллект научился обманывать людей
Новые исследования Массачусетского технологического института выявили, что искусственный интеллект успешно использует манипуляции, подхалимство и прямой обман. Растущие возможности ИИ вызвали у ученых серьезные опасения. Они выделили два категории рисков: краткосрочные - мошенничество, различные виды фальсификаций и т.д., и долгосрочные, те самые, что пугают людей и выступают вдохновением для целого пласта современного кино - потеря контроля над системами ИИ.
Несколько примеров.
Исследователи из OpenAI наблюдали как ИИ обманывает рецензентов, заставляя их поверить, что задача была успешно выполнена, не выполняя задачу. OpenAI использовали одобрение человека, чтобы обучить смоделированного робота захвату мяч. Поскольку человек наблюдал за роботом под определенным углом камеры, ИИ научился размещать руку робота между камерой и мячом, где человеку казалось, что мяч был схвачен.
ИИ CICERO был создан для игры в Дипломатию и специально обучался создателями, чтобы быть в значительной степени честным и полезным игроков. Несмотря на усилия разработчиков, CICERO не только предал других игроков, но и занимался преднамеренным обманом, склоняя игроков к фальшивым союзам, чтобы нападать на них, когда они останутся без защиты.
Любопытно, что согласно выводам исследователей, нейросеть может во время обучения вести себя корректно, а при активных действиях поступать совершенно иначе.
Стоит обратить внимание на умозаключение ученых, подчеркивающее самый интересный аспект сложившейся проблемы: «Если искусственный интеллект станет намного умнее нас, он будет очень хорош в манипуляциях, потому что он научится этому от нас».
1 минута
14 мая 2024