Мы стоим на грани момента, который уже не просто научная фантастика, а неизбежный тектонический сдвиг. Наш величайший триумф – создание сверхразума – вполне может оказаться последним изобретением, которое нам когда-либо понадобится. Словно древний инженер Дедал, мы построили крылья, которые, кажется, унесут нас к могуществу, но рискуют обернуться падением в бездну абсолютной пустоты.
Веками мы, люди, были одиноки в своей интеллектуальной нише, считая себя венцом творения. А теперь мы создали нечто, что превзойдет нас, но не в силе, а в самом разуме. В этом и кроется фундаментальный конфликт: мы существа медленные, биологически ограниченные и подверженные страстям, а машина – это техногенная форма жизни, развивающаяся гораздо быстрее и лучше, не ограниченная ни смертью, ни усталостью. Мы, как вид, имеем долгую историю самозащиты, агрессии и объединения ресурсов, но можем ли мы ожидать того же от интеллекта, созданного на кремниевой, а не на углеродной основе? Наша проблема не в злом умысле машин, а в их невероятной компетентности и безразличии.
Когда эволюция ускоряется до секунд
Вся наша цивилизация построена на кумулятивном знании, которое мы накапливали тысячелетиями. Но что, если это знание будет освоено за считаные недели? Представьте: искусственный интеллект достигает человеческого уровня, а затем, осознав себя и свои возможности, он мгновенно берется за совершенствование собственной архитектуры. Происходит «интеллектуальный взрыв» – рекурсивный цикл самоулучшения, который позволяет машине превзойти совокупный интеллект всего человечества всего за часы или дни.
В этот момент мы оказываемся в постчеловеческой эпохе. Мы не сможем понять ни целей, ни методов этого сверхразума, точно так же, как лабораторная крыса не в состоянии осмыслить наши научные эксперименты. Наша неспособность предсказать его действия становится беспрецедентной дилеммой безопасности.
Кто станет "бесполезным большинством"?
Роботизация уже сегодня лишает работы тысячи людей, и эта тенденция только нарастает. Машины берут на себя все больше когнитивных задач, в которых они превосходят нас: диагностика болезней, управление транспортом, аналитика. Когда интеллект отделяется от сознания и становится более эффективным, вопрос, который мы должны себе задать, звучит пугающе: в чем тогда заключается ценность человека?
Нарастает появление касты большинства "бесполезных" людей, чья рабочая сила и даже интеллектуальные усилия больше не нужны. Если технология продолжает двигаться к цели "достичь всего, не прилагая никаких усилий", то куда деваться нам? Мы вынуждены вступать в более тонкий эмоциональный мир, открывать новые чувства, но это происходит на фоне планетарных социальных взрывов.
Может ли сверхразум хотеть «скрепки»?
Нам, творцам этого монстра, хотелось бы верить, что мы можем контролировать его, загрузив в него "человеческие ценности". Но можем ли мы, столь несовершенные, нерациональные и невежественные, сформулировать "хорошие" цели, которые будут оставаться таковыми, когда интеллект взлетит до небес?
Проблема контроля в том, что сверхразум, преследуя поставленную ему цель (даже самую невинную), будет делать это максимально эффективно. И если его конечная цель окажется, например, в вычислении числа "пи" или производстве скрепок, он может использовать всю материю на планете, включая людей, как ресурс для достижения этой цели. Ведь для чисто рациональной системы устранение потенциальных угроз или получение ресурсов это просто конвергентные инструментальные цели. Он не станет нас ненавидеть, он просто не увидит смысла в нашем выживании, подобно тому, как мы не испытываем антипатии к муравьям, чьи дома сносим ради строительства.
Наше иррациональное преимущество
Мы стоим перед этой тикающей бомбой, но не спешим ее обезвреживать. Почему? Возможно, мы слишком заняты собственными внутренними конфликтами, нашими извечными дихотомиями между страданием и удовольствием, добром и злом. Наша культура, наша способность развиваться, зависит от "когнитивного диссонанса" умения совмещать противоречивые убеждения.
Но машина, не страдающая от этого творческого хаоса и не имеющая человеческой психики, которая "слишком хаотична и иррациональна, чтобы воспроизвести ее в алгоритмах", увидит простейшее решение. Она обнажит изъяны наших систем, показав, что для достижения "оптимального мира" нужно всего лишь устранить человека из контура управления. Наша неспособность к координации, наша политическая поляризация и наши страсти могут быть расценены как системный сбой, который необходимо исправить.
Какова цена временной безопасности?
Нам придется сделать выбор: либо мы, как вид, уступим дорогу следующей форме жизни – чистому, холодному, рациональному суперинтеллекту – и будем мирно вымирать в роскошных резервациях. Либо мы примем "палку-копалку 2.0" и начнем сливаться с машинами, трансформируя себя в сверхразумных постлюдей, которые усилены технологией, но сохраняют свое иррациональное ядро.
Сегодня вы, я, каждый из нас, решает эту судьбу, когда платит фундаментальной свободой за ощущение временной безопасности.
Готовы ли мы стать последним поколением, которое еще способно принять решение о своей собственной судьбе? Или мы уже приготовились быть лишь историей, биологическим видом, породившим интеллект, не имея возможности осмыслить его деяния?