В ежедневном шуме нынешних «кризисов», с которыми сталкивается человечество, мы забываем о многих поколениях, которые, как мы надеемся, еще впереди. Не те, кто будет жить через 200 лет, а через 1000 или 10 000 лет. Я использую слово «надежда», потому что мы сталкиваемся с рисками, называемыми экзистенциальными рисками , которые угрожают уничтожить человечество. Эти риски связаны не только с крупными бедствиями, но и с бедствиями, которые могут положить конец истории.
Однако не все игнорировали далекое будущее. Мистики вроде Нострадамуса регулярно пытались рассчитать конец света. Герберт Уэллс пытался развить науку прогнозирования и в своей книге «Машина времени» описал далекое будущее человечества. Другие писатели строили другие долгосрочные сценарии будущего, чтобы предупредить, развлечь или порассуждать.
Но если бы эти пионеры или футурологи не думали о будущем человечества, это не изменило бы исход. Мало что люди на их месте могли бы сделать, чтобы спасти нас от экзистенциального кризиса или даже вызвать его.
Будущее несовершенное
Тем не менее, эти риски остаются недостаточно изученными. В них чувствуется бессилие и фатализм. Люди говорили об апокалипсисе на протяжении тысячелетий, но мало кто пытался их предотвратить. Люди также плохо справляются с проблемами, которые еще не возникли (частично из-за эвристики доступности) — тенденции переоценивать вероятность событий, примеры которых нам известны, и недооценивать события, которые мы не можем легко вспомнить).
Если человечество вымрет, то, по крайней мере, потеря будет эквивалентна гибели всех живых людей и разочарованию их целей. Но потери, вероятно, были бы намного больше, чем это. Вымирание человечества означает потерю смысла, порожденного прошлыми поколениями, жизней всех будущих поколений (а будущих жизней может быть астрономическое количество ) и всей ценности, которую они могли бы создать. Если сознание или интеллект потеряны, это может означать, что сама ценность исчезает во вселенной. Это огромная моральная причина усердно работать над тем, чтобы экзистенциальные угрозы не стали реальностью. И мы не должны потерпеть неудачу ни разу в этом стремлении.
Имея это в виду, я выбрал то, что я считаю пятью самыми большими угрозами существованию человечества. Но есть оговорки, которые необходимо иметь в виду, поскольку этот список не является окончательным.
За прошедшее столетие мы открыли или создали новые экзистенциальные риски — супервулканы были открыты в начале 1970-х годов, а до Манхэттенского проекта ядерная война была невозможна — поэтому следует ожидать появления других. Кроме того, некоторые риски, которые сегодня выглядят серьезными, могут исчезнуть, когда мы узнаем больше. Вероятности также меняются со временем — иногда потому, что мы беспокоимся о рисках и исправляем их.
Наконец, только потому, что что-то возможно и потенциально опасно, не означает, что об этом стоит беспокоиться. Есть некоторые риски, с которыми мы ничего не можем поделать, например гамма-всплески, возникающие в результате взрывов галактик. Но если мы узнаем, что можем что-то сделать, приоритеты меняются. Например, с санитарией, вакцинами и антибиотиками эпидемия превратилась из стихийного бедствия в ухудшение общественного здоровья.
1. Ядерная война
Хотя до сих пор в войне применялись только два вида ядерного оружия — в Хиросиме и Нагасаки во время Второй мировой войны, — а ядерные запасы сократились по сравнению с пиком, которого они достигли во время холодной войны, было бы ошибкой думать, что ядерная война невозможна. На самом деле, это не может быть невероятным.
Кубинский ракетный кризис был очень близок к превращению в ядерный. Если мы предположим, что такое событие происходит каждые 69 лет и вероятность того, что оно может привести к ядерной войне, составляет один к трем , вероятность такой катастрофы возрастает примерно до одного из 200 в год.
Что еще хуже, кубинский ракетный кризис был лишь самым известным случаем. История советско-американского ядерного сдерживания полна опасностей и опасных ошибок. Фактическая вероятность менялась в зависимости от международной напряженности, но кажется маловероятным, что шансы были бы намного ниже, чем один к 1000 в год.
Полномасштабная ядерная война между крупными державами унесет жизни сотен миллионов людей сразу или в ближайшем будущем — невообразимая катастрофа. Но этого недостаточно, чтобы сделать его экзистенциальным риском.
Точно так же опасность радиоактивных осадков часто преувеличена – потенциально смертельная на местном уровне, но в глобальном масштабе это относительно ограниченная проблема. Кобальтовые бомбы были предложены в качестве гипотетического оружия судного дня, которое убьет всех радиоактивными осадками, но на практике их сложно и дорого изготовить. И они физически едва ли возможны.
Реальная угроза — это ядерная зима — то есть поднятая в стратосферу сажа, вызывающая многолетнее похолодание и высыхание мира. Современные симуляции климата показывают, что сельское хозяйство может быть исключено в большинстве стран мира на долгие годы. Если этот сценарий произойдет, миллиарды людей умрут от голода, оставив только разрозненных выживших, которых могут убить другие угрозы, такие как болезни. Основная неопределенность заключается в том, как поведет себя сажа: в зависимости от вида сажи результаты могут быть очень разными, и в настоящее время у нас нет хороших способов это оценить.
2. Биоинженерная пандемия
Природные пандемии убили больше людей, чем войны. Однако естественные пандемии вряд ли представляют собой экзистенциальную угрозу: обычно есть люди, устойчивые к патогену, и потомство выживших будет более устойчивым. Эволюция также не одобряет паразитов, уничтожающих своих хозяев, поэтому сифилис превратился из опасного убийцы в хроническое заболевание по мере своего распространения в Европе .
К сожалению, теперь мы можем сделать болезни более неприятными. Одним из наиболее известных примеров является то, как введение дополнительного гена в мышиную оспу — мышиную версию оспы — сделало ее гораздо более смертоносной и способной заражать вакцинированных людей. Недавняя работа над птичьим гриппом показала, что заразность болезни можно намеренно повысить.
Прямо сейчас риск того, что кто-то преднамеренно выпустит что-то разрушительное, низок. Но по мере того, как биотехнология будет становиться лучше и дешевле , все больше групп смогут усугублять болезни.
Большая часть работы над биологическим оружием была проделана правительствами, ищущими что-то поддающееся контролю, потому что уничтожение человечества бесполезно с военной точки зрения. Но всегда есть люди, которые хотят что-то делать, потому что они могут. У других более высокие цели. Например, секта Аум Синрикё пыталась ускорить апокалипсис, используя биологическое оружие помимо их более успешной атаки нервно-паралитическим газом. Некоторые люди думают, что Земле было бы лучше без людей и так далее.
Число погибших от атак с применением биологического оружия и эпидемических вспышек выглядит так, как будто оно имеетстепенное распределение — у большинства атак мало жертв, но немногие убивают многих. Учитывая текущие цифры, риск глобальной пандемии биотерроризма кажется очень небольшим. Но это всего лишь биотерроризм: правительства убили с помощью биологического оружия гораздо больше людей, чем террористы (возможно, до 400 000 человек погибли в результате японской программы биовойны во время Второй мировой войны). И по мере того, как технологии в будущем становятся все более мощными, становится все проще создавать более опасные патогены.
3. Сверхразум
Интеллект очень мощный. Крошечный прирост в способности решать проблемы и групповой координации — вот почему мы оставили других обезьян в пыли. Теперь их дальнейшее существование зависит от человеческих решений, а не от того, что они делают. Быть умным — это реальное преимущество для людей и организаций, поэтому мы прилагаем большие усилия для поиска способов улучшения нашего индивидуального и коллективного интеллекта: от лекарств, улучшающих когнитивные функции, до программного обеспечения искусственного интеллекта.
Проблема в том, что разумные существа хорошо достигают своих целей, но если цели поставлены плохо, они могут использовать свою силу для ловкого достижения катастрофических результатов. Нет оснований думать, что интеллект сам по себе заставит кого-то вести себя хорошо и нравственно . На самом деле можно доказать, что определенные типы сверхразумных систем не подчинялись бы моральным правилам, даже если бы они были истинными .
Еще более тревожным является то, что, пытаясь что-то объяснить искусственному интеллекту, мы сталкиваемся с глубокими практическими и философскими проблемами. Человеческие ценности — это расплывчатые, сложные вещи, которые мы не умеем выражать, и даже если бы мы могли это сделать, мы могли бы не понять всех последствий того, чего мы желаем.
Интеллект, основанный на программном обеспечении, может очень быстро превратиться из ниже человеческого в пугающе мощный. Причина в том, что он может масштабироваться иначе, чем биологический интеллект: он может работать быстрее на более быстрых компьютерах, части могут быть распределены на большем количестве компьютеров, разные версии тестируются и обновляются на лету, включаются новые алгоритмы, которые дают скачок в производительности.
Было высказано предположение, что « интеллектуальный взрыв » возможен, когда программное обеспечение становится достаточно хорошим для создания лучшего программного обеспечения. Если такой скачок произойдет, будет большая разница в потенциальной силе между умной системой (или людьми, говорящими ей, что делать) и остальным миром. Это чревато катастрофой, если цели поставлены неправильно.
Необычность сверхразума заключается в том, что мы не знаем, возможны ли быстрые и мощные взрывы интеллекта: может быть, наша нынешняя цивилизация в целом совершенствуется с максимально возможной скоростью. Но есть веские основания полагать, что некоторые технологии могут ускорить процесс намного быстрее, чем может выдержать нынешнее общество. Точно так же мы не очень хорошо понимаем, насколько опасными могут быть различные формы сверхразума или какие стратегии смягчения последствий действительно сработают. Очень трудно рассуждать о будущих технологиях, которых у нас еще нет, или об интеллекте, превосходящем нас самих. Из рисков в этом списке этот, скорее всего, будет либо огромным, либо просто миражом.
Это удивительно малоизученная область. Даже в 50-х и 60-х годах, когда люди были крайне уверены, что сверхразум может быть достигнут «в пределах одного поколения», они не особо вникали в вопросы безопасности. Возможно, они не восприняли свои предсказания всерьез, но более вероятно, что они просто видели в этом проблему отдаленного будущего.
4. Нанотехнологии
Нанотехнология — это контроль над материей с атомарной или молекулярной точностью. Это само по себе не опасно — вместо этого это было бы очень хорошей новостью для большинства приложений. Проблема в том, что, как и в случае с биотехнологией, увеличение мощности также увеличивает вероятность злоупотреблений, от которых трудно защититься.
Большая проблема не в печально известной «серой слизи» самовоспроизводящихся наномашин, поедающих все подряд. Это потребует умного дизайна именно для этой цели. Трудно заставить машину воспроизводиться: биология по умолчанию справляется с этим намного лучше. Возможно, какой-нибудь маньяк в конечном итоге добьется успеха, но на дереве разрушительных технологий есть еще много низко висящих плодов.
Самый очевидный риск заключается в том, что производство с атомарной точностью выглядит идеальным для быстрого и дешевого производства таких вещей, как оружие. В мире, где любое правительство может «напечатать» большое количество автономного или полуавтономного оружия (включая средства для производства еще большего количества), гонка вооружений может стать очень быстрой — и, следовательно, нестабильной, так как нанесение первого удара до того, как противник получит слишком большое преимущество может быть заманчивым.
Оружие также может быть маленьким и точным: «умный яд», который действует как нервно-паралитический газ, но ищет жертв, или вездесущие системы наблюдения «комарботов» для поддержания послушания населения кажутся вполне возможными. Кроме того, могут быть способы передать ядерное распространение и климатическую инженерию в руки любого, кто этого хочет.
Мы не можем судить о вероятности экзистенциального риска от будущих нанотехнологий, но похоже, что они могут быть потенциально разрушительными только потому, что могут дать нам все, что мы пожелаем.
5. Неизвестные неизвестные
Самая тревожная возможность заключается в том, что есть что-то очень смертоносное, а мы понятия не имеем об этом.
Тишина в небе может свидетельствовать об этом. Связано ли отсутствие инопланетян с тем, что жизнь или разум крайне редки, или с тем, что разумная жизнь имеет тенденцию к уничтожению ? Если существует будущий Великий Фильтр, его должны были заметить и другие цивилизации, и даже это не помогло.
Какой бы ни была угроза, она должна быть чем-то почти неизбежным, даже если вы знаете, что она существует, независимо от того, кто вы и что вы. Нам ничего не известно о таких угрозах (ни одна из других в этом списке не работает так), но они могут существовать.
Обратите внимание: только потому, что что-то неизвестно, это не значит, что мы не можем рассуждать об этом. В замечательной статье Макс Тегмарк и Ник Бостром показывают, что определенный набор рисков должен быть меньше одного шанса на миллиард в год, исходя из относительного возраста Земли.
Вы можете задаться вопросом, почему изменение климата или метеоритные удары не включены в этот список. Изменение климата, каким бы страшным оно ни было, вряд ли сделает всю планету непригодной для жизни (но оно может усугубить другие угрозы, если наша защита от него сломается). Метеоры, конечно, могли бы стереть нас с лица земли, но нам бы очень не повезло. Средний вид млекопитающих выживает около миллиона лет. Следовательно, фоновая скорость естественного вымирания составляет примерно один случай на миллион в год. Это намного меньше, чем риск ядерной войны, которая по прошествии 70 лет все еще остается самой большой угрозой для нашего дальнейшего существования.
Эвристика доступности заставляет нас переоценивать риски, которые часто упоминаются в СМИ, и игнорировать беспрецедентные риски. Если мы хотим жить через миллион лет, мы должны это исправить.