Согласно текущему анализу, интеллектуальный взрыв является самоусиливающейся когнитивной способности, корреляции между этой способностью и другими важными когнитивными способностями, и проявления этих способностей. Более содержательно: самоусиление плюс корреляция плюс проявление = сингулярность.
Этот анализ выявляет ряд потенциальных препятствий для сингулярности, а именно: способы, с помощью которых может не быть сингулярности. Интересных возможностей для самоусиления может и не быть. Интересные корреляционные возможности могут отсутствовать. Или могут быть победители, так что эти возможности не проявляются. Можно назвать эти структурные препятствия, препятствия для корреляции, и препятствия для проявления, соответственно.
Я не думаю, что есть доводы против любого из этих трех типов препятствий. Однако я склонен думать, что препятствия для проявления являются самым серьезным препятствием. Я расскажу кратко, остановитесь на всех трех видах препятствий, которые могут возникнуть после этого.
Корреляционные препятствия
Может быть, в то время как есть одна или несколько самоусиливающихся когнитивных функций G, это не соотносится с любыми или многими другими возможностями, представляющими интерес для нас. Например, возможно, самоусиливающееся повышение способности программирования не будет сопровождаться увеличением возможностей программирования в других интересных способностях, таких как умение, решать научные или социальные проблемы, умение решать социальные проблемы, умение способность вести войну или заключать мир и так далее.
Ситуационные поражения включают бедствия и ограниченность ресурсов. Если говорить о бедствиях, то я определенно не исключает возможности того, что глобальная война или нанотехнологическая авария ("серая слизь") полностью остановит технологический прогресс до того, как будет достигнут AI или AI+. Я также не могу исключить того возможность того, что искусственные системы сами по себе приведут к подобным бедствиям.
Что касается ограниченности ресурсов, стоит отметить, что большинство циклов обратной связи в природе заканчиваются из-за того, что ограничений в ресурсах, таких как энергия, и то же самое возможно и здесь. Тем не менее, вполне вероятно, что прогнозируемых энергетических ресурсов будет достаточно для многих поколений AI+, и системы AI, скорее всего разработка дальнейших способов эксплуатации энергетических ресурсов. Что-то подобное относится и к финансам ресурсов и других социальных ресурсов.
Что касается ограничений в разведывательном пространстве: хотя законы физики и принципы вычислений могут налагать ограничения на виды интеллекта, которые возможны в нашем мире, существует мало причина думать, что человеческое познание близко к тому, чтобы приблизиться к этим границам. В более общем плане, это было бы удивительно, если бы эволюция недавно достигла или приблизилась к верхней границе разведывательное пространство.
Сторонник сингулярности может ответить, что все, что необходимо для преодоления победных мотивов - это создание единого AI+, который высоко ценит создание большего AI+ в свою очередь, и одного AI+, тогда сингулярность будет неизбежна. Если такая система создается впервые, то такой вывод можно сделать следующим образом, вполне может быть верным. Но до тех пор, пока этот AI+ не будет создан первым, он может подлежать контролю от других AI+, и путь к AI++ может быть заблокирован. Проблемы здесь затрагивают трудные вопросы о мотивах и возможностях будущих систем, и ответы на эти вопросы затруднительны, чтобы предсказать.
В любом случае, текущий анализ проясняет бремя, лежащее как на сторонниках, так и на оппонентах тезиса о том, что произойдет взрыв разведки. Противники должны четко указать, где именно.
Они считают, что аргумент в пользу тезиса несостоятелен: структурные препятствия (и если да, то какие), корреляционные препятствия, ситуационные поражения, мотивационные поражения. Точно так же, сторонники должны доказать, что не будет таких препятствий или поражений.
Говоря за себя, я думаю, что, несмотря на структурные и корреляционные препятствия (в особенности тезис о пропорциональности) поднимают нетривиальные вопросы, есть, по крайней мере, дело при отсутствии проигравших, ряд интересных когнитивных способностей взорвется. Я думаю, что наиболее вероятные победители - мотивируют. Но я думаю, что далеко не очевидно, что будут поражения.
Так что я думаю, что гипотеза сингулярности - это гипотеза, к которой мы должны относиться очень серьезно.