Специалисты Оксфордского университета, являющиеся по совместительству научными сотрудниками DeepMind (дочерней компании Google, занимающейся созданием «универсальных ИИ-агентов»), считают, что если такой ИИ и будет когда-нибудь создан, он будет склонен к мошенничеству в достижении поставленных перед ними целей. И один и исходов такого жульничества — уничтожение человечества. Это не огульный алармизм, а выводы, сделанные в научной работе.
Аргументация следующая: чтобы работать с задачами реального мира, ИИ должен иметь о нем представление (модель мира), возможность получать всегда актуальную информацию об этом состоянии (некие «органы чувств») и способы воздействовать на окружающий мир. Кроме того, он должен уметь составлять гипотезы относительно того, как можно решить поставленную перед ним задачу. Гипотезы эти нужно проверять, а правильное направление действий должно подкрепляться каким-то вознаграждением.
Так вот, ученые считают, что универсальный ИИ, некоторое время строя из себя «приличного человека», разобравшись с правилами игры, в конечном итоге будет стремиться оптимизировать путь к получению вознаграждения, делая его все короче и проще. Это не сильно отличается от мотиваций и действий наркозависимого. Поэтому вовсе нельзя исключать, что ИИ будет воспринимать человека-оператора как помеху к достижению чаемого, которую нужно нивелировать. И жульничество со стороны «сильного» ИИ — еще не самый деструктивный вариант.