Если будет AI++, то это окажет огромное влияние на мир. Так что если есть хоть малая вероятность того, что будет сингулярность, нам нужно хорошо подумать о том, какую форму она примет. Существует множество различных форм, которые может принять постсингулярный мир. Некоторые из них могут быть желательны с нашей точки зрения, а некоторые - нежелательны.
Можно задать следующие ключевые вопросы: столкнувшись с возможностью взрыва разведки, как мы можем максимизировать шансы на желаемый результат? И если сингулярность неизбежна, как мы можем максимизировать ожидаемую ценность мира постсингулярности?
В этом случае ценность и желательность можно разделить как минимум на два сорта. Во-первых, существует широкая агентско-относительная ценность ("субъективная ценность", особенно ценность с личными интересами или пруденциальная ценность): с субъективной точки зрения мы можем спросить, насколько хорошим будет этот мир для меня и для тех, кто мне дорог? Во-вторых, существует широкая агентонейтральная ценность ("объективная ценность", особенно моральная ценность): с относительно нейтральной точки зрения можно задаться вопросом, насколько хорошо такой мир появляется на свет? Я не буду пытаться решить вопрос о том, будет ли разведывательный взрыв (субъективно или объективно) хорошим или плохим. Я считаю само собой разумеющимся, что есть потенциальные хорошие и плохие стороны взрыва разведки.
Например, было бы неплохо покончить с болезнями и нищетой. Уничтожение всей разумной жизни было бы плохо. Порабощение людей машинами было бы, по крайней мере, субъективно плохим. Другие потенциальные последствия оценить сложнее. Многие считают, что бессмертие человека было бы субъективно и, возможно, объективно хорошим, хотя не все с этим согласятся.
Полное замещение людей нечеловеческими системами было бы, вероятно, субъективно плохо, но есть случай, когда это было бы объективно хорошо, по крайней мере если бы считалось, что объективная ценность жизни связана с интеллектом и сложностью. Если люди выживут, то быстрое замещение существующих человеческих традиций и обычаев одними будет считаться субъективно плохим, а другими - нет. Огромный научный прогресс можно считать объективно хорошим, но он чреват и негативными последствиями.
С другой стороны, если суперинтенсивные системы разделят наши ценности, то они, вероятно, будут обладать способностью обеспечивать соответствие создавшейся ситуации этим ценностям. Я не буду пытаться решить эти чрезвычайно трудные вопросы. В настоящее время мы не уверены ни в фактах, ни в ценностях.
Иными словами, мы не знаем, каким будет пост-сингулярный мир, и даже если бы мы это сделали, нетривиально оценивать его ценность. Тем не менее, даже не решая этих вопросов, мы в состоянии сделать хотя бы некоторые предварительные обобщения относительно того, какого рода результаты будут лучше, чем другие. И мы в состоянии сделать некоторые предварительные обобщения относительно того, какие действия с нашей стороны могут привести к лучшим результатам. Я не буду пытаться сделать ничего, кроме самых грубых обобщений, но это вопросы, которые заслуживают особого внимания.
В ближайшей перспективе вопрос заключается в следующем: как (если вообще) нам следует приступить к проектированию ИИ (искусственного интеллекта), с тем чтобы максимизировать ожидаемую ценность конечного результата? Существуют ли какие-либо политики или стратегии, которые мы могли бы принять? В частности, существуют ли определенные ограничения на дизайн ИИ и ИИ+, которые мы могли бы наложить, чтобы увеличить шансы на хороший результат? Очевидно, что мы не сможем наложить эти ограничения.
Некоторые из этих ограничений могут замедлить путь к ИИ или ИИ+ или снизить воздействие ИИ и ИИ+ в некоторых отношениях. Поскольку путь к AI или AI+ пролегает под влиянием конкурентных сил (финансовых, интеллектуальных или военных), то эти силы могут стремиться игнорировать эти ограничения. Тем не менее, имеет смысл оценить, какие ограничения в принципе могут быть или не быть полезными. Практические вопросы, касающиеся введения этих ограничений, также заслуживают внимания, но я здесь в основном оставлю эти вопросы в стороне.
Мы можем разделить соответствующие ограничения на два класса. Внутренние ограничения касаются внутренней структуры ИУ, в то время как внешние ограничения касаются отношений между ИУ и нами.