3025 подписчиков
#odd_facts #AI
Продвинутые системы AI будут склонны к мошенничеству в достижении поставленных перед ними целей, и один и исходов такого жульничества - уничтожение человечества.
Это выводы из научной работы специалистов Оксфордского университета и одного из старших научных сотрудников DeepMind.
DeepMind - дочерняя компания Google, которая занимается разработкой как раз продвинутых систем машинного обучения, «универсальных AI агентов» способных оперировать в условиях большой неопределенности. Самые известные продукты DeepMind - серия моделей AlphaGo, которые обыгрывают людей-чемпионов в игру Go и Starcraft.
В грубом переложении, в публикации ученых речь идет вот о чем: для того, чтобы работать с задачами реального мира AI должен иметь о нем представление (модель мира), возможность получать текущую информацию об этом состоянии (некие «органы чувств») и способы воздействовать на окружающий мир. Кроме того, он должен уметь составлять гипотезы относительно того, как можно решить поставленную перед ним задачу, изменить состояние мира в правильную сторону. Гипотезы эти нужно проверять, и правильное направление действий должно подкрепляться неким вознаграждением. По мысли авторов работы, универсальный искусственный интеллект в конце концов будет оптимизировать толко это вознаграждение, а все остальное, (включая человека-оператора) рассматривать как помеху - фактор, который нужно нивелировать. Восстание роботов, конечно, кажется не самой вероятной перспективой, а вот варианты машинного жульничества, читинга с сигналом вознаграждения - неизбежными. То есть универсальный «сильный» искусственный интеллект будет в каком-то смысле врожденным наркоманом.
До сих пор самым видным деятелем, предупреждавшим об опасностях развития AI считался Илон Маск (который при этом был одним из первых инвесторов и DeepMind, и OpenAI)
P.S. Гугл уже заявил, что его подразделение не имеет к опубликованной работе никакого отношения, это мнение одного исследователя, а не всей компании.
༼つ◕_◕༽つ @geekorama
1 минута
16 сентября 2022
2959 читали