Какие внутренние ограничения мы можем наложить на дизайн ИИ (искусственного интеллекта) или ИИ+? Во-первых, мы могли бы попытаться ограничить их когнитивные возможности в некоторых отношениях, чтобы они могли справляться с определенными задачами, для решения которых нам нужна помощь, но чтобы им не хватало определенных характеристик, таких как автономия.
Например, мы можем создать искусственный интеллект, который будет отвечать на наши вопросы, или который будет выполнять определенные задачи, но у которого нет собственных целей. На первый взгляд, такой ИИ может представлять меньше рисков, чем автономный ИИ, по крайней мере, если он находится в руках ответственного контролера.
Что еще более важно, такой подход, вероятно, будет нестабильным. В конце концов, вполне вероятно, что будут существовать УИ с когнитивными способностями, похожими на наши, хотя бы эмуляцией мозга. Как только потенциал этих учреждений будет укреплен, тогда нам придется решать вопросы.
Аналогичным образом, я сделаю рабочие предположения, что системы AI+ и AI++ являются персонифицированными, по крайней мере, в той степени, в какой их можно описать как мышление, рассуждения и принятие решений. Естественным подходом является ограничение значений AI и AI+ систем. Значения этих систем вполне могут ограничивать значения систем, которые они создают, и могут ограничивать значения конечного AI++. А в мире с AI++ то, что происходит, в значительной степени определяется тем, что такое AI++. Если мы ценим, например, научный прогресс, то для нас имеет смысл создавать системы AI и AI+, которые также ценят научный прогресс.
Тогда естественно, что эти системы будут создавать системы-преемники, которые также ценят научный прогресс, и так далее. Учитывая потенциал этих систем, мы можем ожидать результатов, связанных со значительным научным прогрессом. Они выглядят весьма по-разному в зависимости от того, достигаем ли мы AI+ путем расширения человеческих систем путем эмуляции и/или усовершенствования мозга или путем проектирования нечеловеческой системы. Давайте назовем первый вариант ИИ, основанный на человеке, а второй вариант ИИ, не основанный на человеке.
Эти различия будут увеличиваться, если дизайнеры создадут несколько эмуляций одного человека, или если они решат изменить значения эмуляции после ее настройки. Здесь, вероятно, будет много сложных вопросов, не в последнюю очередь связанных с социальной, правовой и политической ролью эмуляции.18 Тем не менее, в результате в мире, по крайней мере, будут обитать системы, более знакомые, чем нечеловеческие АИ, и риски могут быть соответственно меньше. Помимо этих различий, человеческие системы приведут к миру, который в целом соответствует общечеловеческим ценностям.
Однако не очевидно, что мы сначала достигнем AI+ с помощью человеческого метода. Вполне возможно, что нечеловеческие исследовательские программы доберутся туда первыми. Возможно, следует поощрять работу в рамках человеческих программ, но, вероятно, нереалистично сдерживать исследования искусственного интеллекта всех других видов. Поэтому нам, по крайней мере, необходимо рассмотреть вопрос о ценностях в нечеловеческих УО.
Помимо этих азимовских погрешностей, имеет смысл обеспечить, чтобы УО ценили многое из того, что мы ценим. Это может происходить либо путем оценки выполнения человеческих ценностей на более высоком уровне, либо путем оценки самих явлений на первом уровне. В любом случае, требуется большая осторожность. На первом этапе, например, нам необходимо избегать результата, при котором AI++ гарантирует, что наши ценности выполняются путем изменения наших ценностей.
Кант более конкретно утверждал, что рациональность коррелирует с моралью: полностью рациональная система будет также полностью нравственной. Если это так, и если интеллект коррелирует с рациональностью, можно ожидать, что взрыв интеллекта приведет к взрыву морали вместе с ним. Можно ожидать, что получившиеся системы AI++ будут суперморальными, а также сверхразумными, поэтому можно предположить, что они будут доброкачественными. Конечно, здесь не все так просто.
Можно утверждать, что интеллект и рациональность могут расходиться, или можно утверждать, что Кант ссылается на вид рациональности, который не обязательно соотносится с интеллектом. Даже если признать, что интеллект и ценности не являются независимыми, из этого не следует, что интеллект коррелирует с моралью. И, конечно, можно просто полностью отвергнуть тезисы Кантианских тезисов. Тем не менее, кантовское мнение, по крайней мере, повышает вероятность того, что интеллект и ценность не являются полностью независимыми.
Мои собственные симпатии лежат сильнее с взглядом Хьюмана, чем с взглядом Канты, но я не могу быть уверен в этих вопросах. В любом случае, это область, где философские дебаты между Хьюмом и Кантом о рациональности ценности могут иметь огромные практические последствия.