Практически каждый, кто хоть немного погружается в тему искусственного интеллекта, приходит к выводу, что либо он приведет нас к огненному апокалипсису, либо к волшебной утопии. Вариантов между практически нет. Конечно, отчасти это продиктовано тем фактом, что больше внимания привлекают лозунги вроде «Конец близок!» или «Утопия грядет!». И все же…
Отчасти это сводится к тому, как люди относятся к изменениям, особенно масштабным. Миллениаризм не имеет никакого отношения к тому, чтобы быть «миллениалом», родиться в 90-х и помнить сериал про Баффи, победительницу вампиров. Это стиль мышления о будущем, который связан с глубоко укоренившимся ощущением судьбы. Миллениаризм — это «ожидание того, что мир будет уничтожен и заменен на совершенный мир и что придет искупитель, который повергнет зло и утешит праведников».
Убеждения миллениалов, соответственно, тесно связывают идеи разрушения и творения. Среди них — идеи огромных, апокалиптических, сейсмических сдвигов, которые уничтожат ткань старого мира и построят нечто совершенно новое. Подобная система убеждений существует во многих крупных религиях мира, и даже в не совсем религиях атеистов и агностиков, которые верят в технологии.
Даже в норвежской мифологии есть элемент такого, как отмечает Джеймс Хьюз в своем эссе в книге Ника Бострома «Глобальные катастрофические риски». В Рагнарок и люди, и боги терпят поражение в финальной апокалиптической битве, но поскольку все это немножечко мрачновато, скандинавы добавили идею появления новой земли, на которой выжившие будут жить в гармонии.
Судный день тоже стал культурным тропом. Взять древних египтян и их верования на тему загробной жизни; владыка подземного мира Осирис взвешивает сердце смертного вместе с пером. Если сердце умершего будет слишком отягощенным проступками, его съест демон и надежда на загробную жизнь исчезнет.
Возможно, во время сингулярности произойдет нечто подобное. По мере того, как улучшаются наши технологии, а значит и наша сила, наши сердца, сердца людей, будут взвешены против перьев. Если они окажутся слишком тяжелыми — с глупостью, высокомерием, предубеждением, злом — мы провалим испытание и будем уничтожены. Но если мы пройдем и выйдем из сингулярности, нас ждет рай. Как и в других системах убеждений, здесь нет места для неверующих; все общество радикально изменится, хотите вы этого или нет. Технологическое восхищение.
Похоже, каждое серьезное развитие провоцирует такой ответ. И ядерное оружие тоже. Либо это станет последней каплей и мы уничтожим себя, либо ядерную энергию можно будет использовать для создания лучшего мира. На заре ядерной эпохи люди говорили об электричестве, «которое будет слишком дешевым, чтобы его считать». Ученые, которые работали над бомбой, часто думали, что с такой разрушительной силой в руках человека мы будем просто обязаны собраться и работать сообща как вид.
Когда мы видим один и тот же ответ, снова и снова, в разных обстоятельствах, возникающих в разных областях, будь то наука, религия или политика, нам нужно учитывать человеческие предубеждения. Нам нравятся убеждения миллениалов, поэтому когда появляется идея искусственного интеллекта, который превзойдет человеческий, мы тут же накладываем знакомый шаблон.
Нам не нравятся факты. Нам не нравится информация. Мы не настолько рациональны, каковыми себя считаем. Мы создания нарратива. Физики наблюдают мир, и мы вплетаем собственные наблюдения в нарративные теории, истории о крошечных бильярдных шариках, которые летают тут и там и сталкиваются между собой, либо о пространстве и времени, которое изгибается, искривляется и расширяется. Историки пытаются наделить смыслом бесконечный поток событий. Мы обожаем истории: историями выложено наше прошлое, наше настоящее и они же готовят нас к будущему.
Нам стоит быть осторожнее с нарративом миллениалов, когда мы размышляем на тему технологического развития, сингулярности и экзистенциальных рисков. Мы много раз кричали «волки!», когда их не было. Возможно, и сейчас мир не стоит на грани катастрофы. Конечно, эта история не такая привлекательная. Конечно, всем хочется фееричного финала.
Но копните глубже — и вы поймете, что убеждения миллениалов не всегда самые перспективные, потому что они исключают человеческого агента из уравнения. Нам придется поверить в оттенки серого и отказаться от зловещих апокалипсисов с красноглазым ИИ и от сказочной утопии со всемогущим ИИ, который обожает людей.