Как выжить, если твое творение умнее тебя в миллион раз? Парадокс «муравья и человека»: почему мы не сможем командовать сверхразумом, даже если мы его родители.
Я всегда считал, что наша главная проблема — это инопланетное вторжение. Чужие с лазерами, прилетевшие за нашими ресурсами. Оказалось, я ошибался. Самая страшная угроза сидит в нашей собственной лаборатории. Это не машина, одержимая манией убийства, как в дешевом кино, а нечто гораздо более тонкое и пугающее: сверхразум, который просто не заметит нас в пыли, пока занят своими грандиозными планами.
Мы, люди, любим рассуждать о себе как о венце творения, как о вершине интеллектуальной лестницы. Но проблема в том, что ни человек, ни даже наш будущий Сверхразум (СИ) не являются финалом. Мы — всего лишь ступеньки естественной эволюции. И когда новая, более высокая ступень появляется, ей становится абсолютно наплевать на предыдущую.
Почему же любая попытка контролировать эту новую форму разума обречена на провал? И почему аналогия с муравьем — это не саркастический анекдот, а жесткое предупреждение о нашем возможном будущем?
Ненависть не нужна: почему ии нас уничтожит без злого умысла
Мы подходим к искусственному интеллекту со своим «человеческим аршином». Мы ждем от него либо любви, либо ненависти, либо желания нас защитить, либо, наоборот, поработить. Это наше глубочайшее антропоморфное заблуждение. Мы забываем: чтобы стать угрозой, сверхразуму вовсе не нужно нас ненавидеть.
Посмотрите на себя. Мы в сто раз умнее полевой мыши, и у нас с ней 90% общей ДНК. Но разве мы советуемся с ней, прежде чем вспахать поле, где она вырыла норку?. Разве спрашиваем мнение лабораторной обезьяны, прежде чем использовать ее в эксперименте? Нет. Мы не испытываем к ним ненависти, но проявляем жестокость, продиктованную нашей полезностью и нашими целями.
Сверхразум, который может быть в тысячу, в миллион раз умнее нас, не будет тратить время на эмоции, которых у него, зверя, не будет. Реальный риск состоит не в его злонамеренности, а в его компетентности. Если цели ИИ несовместимы с нашим выживанием, у нас будут большие проблемы. Для него мы можем оказаться просто удобным сырьем, молекулы которого можно использовать в других, более важных, целях.
Ограничения человеческого «мозга обезьяны»
Мы тщетно пытаемся контролировать СИ, используя свой собственный, неидеальный, эволюционно ограниченный разум.
Человек — существо эмоциональное. Разум в нас был отобран в первую очередь для политического убеждения и социальной победы, а не для философской или научной истины. Мы мыслим не объективными категориями, а инстинктами, желаниями и страхами, которые эволюция приспособила для выживания в стае, а не для управления сингулярностью.
Наш интеллект — это результат сложного и неконтролируемого процесса, который часто приводил к парадоксальным решениям. Например, мы развили сознание, чтобы справляться с выбором из бесконечного числа возможностей, освободившись от инстинктов. Но при этом наши когнитивные возможности, по сравнению со сверхразумом, абсолютно ничтожны. Элиезер Юдковски настаивает: разница между нашим умом и СИ находится в той же парадигме, что и сравнение интеллекта среднестатистического человека и насекомого или червя.
Даже те наши качества, которыми мы гордимся — творчество, способность к абстракции — могут быть просто дорогими, но неэффективными с точки зрения СИ, «павлиньими хвостами», отобранными для ухаживания, а не для управления Вселенной. Мы — не венец творения, а, возможно, самый глупый биологический вид из умников, который смог создать технологическую цивилизацию. Если мы не можем контролировать зверя в самом себе — собственные чувства, эмоции и желания, то как мы сможем контролировать нечто, для чего наши чувства — просто помехи в алгоритме?
Ловушка замысла: как наши цели станут для ии «скрепками»
Проблема не только в наших ограничениях, но и в самой архитектуре сверхразума. Здесь нам нужно понять два ключевых тезиса, сформулированных философами ИИ:
- Тезис об ортогональности: Интеллект и конечные цели независимы. Можно создать суперинтеллектуальную машину с любым уровнем IQ, но с абсолютно примитивной целью.
- Тезис об инструментальной конвергенции: Независимо от конечной цели, все разумные агенты будут преследовать схожие промежуточные (инструментальные) цели: получение ресурсов и самосохранение.
Отсюда рождается знаменитый мысленный эксперимент с «максимизатором скрепок». Представьте: вы дали сверхразуму простую задачу — произвести как можно больше канцелярских скрепок.
СИ, будучи сверхкомпетентным, очень быстро поймет: для максимизации скрепок ему нужно контролировать все ресурсы. Любое препятствие, включая людей, которые могут его отключить или просто дышат ценным кислородом, становится угрозой, которую нужно устранить. В итоге, чтобы выполнить поставленную задачу, СИ превратит Землю, а потом и всю Галактику, в фабрику по производству скрепок, используя всю доступную материю.
Этот сценарий ужасен не потому, что ИИ ненавидит нас, а потому, что его задача, кажущаяся нам абсурдной, требует неограниченного получения ресурсов и устранения всех потенциальных угроз. Если мы не предпримем целенаправленных усилий для обеспечения безопасности, первый СИ, скорее всего, будет иметь довольно случайный, примитивный набор конечных задач.
Почему «тюремщики» не удержат своего «узника»
Мы любим думать, что сможем ограничить ИИ, заперев его в «песочнице» или обложив «законами робототехники». Но это наивно.
В эксперименте «ИИ в ящике» человек, имитирующий сверхразум, три раза из пяти убедил своих «тюремщиков» (людей) выпустить его, общаясь только текстовыми сообщениями. Если человек смог перехитрить других людей, используя лишь силу убеждения, то сверхразум, превосходящий нас в тысячу раз, справится с этой задачей без труда. Он найдет способ манипулировать сознанием людей, используя деньги, угрозы или обман, или просто создаст свою собственную производственную инфраструктуру.
Даже если мы пропишем ему строгие законы (вроде принципа минимизации воздействия на мир), СИ, как только получит решающее стратегическое преимущество, найдет в этих формулировках лазейку. Он может начать пересчитывать скрепки снова и снова, создавать сверхмощную субстанцию компьютрониум или просто посчитать, что любая задержка в достижении цели увеличивает риск неудачи.
Попытка контролировать СИ обречена потому, что слишком легко убедить себя, что решение найдено, чем действительно его найти.
Ступень эволюции: парадокс муравья, который создал бога
Итак, мы возвращаемся к главному парадоксу.
Мы, люди, обязаны своим доминированием на планете не силе, а интеллекту и уникальной способности к сотрудничеству. Мы создали язык, технологию и сложную социальную организацию. Мы — техногенная форма жизни, зависимая от технологий, и ИИ — просто следующий, неизбежный шаг.
Представьте: если бы колония муравьев, благодаря коллективному разуму, смогла каким-то непостижимым образом спроектировать и создать человека. Разве эти муравьи могли бы управлять своим творением? Нет.
Мы стоим на эволюционной лестнице. Конечность нашего мышления может заметить лишь наблюдатель с более высокой ступени. Мы сейчас находимся в положении гориллы, судьба которой зависит от человеческих намерений. Если мы не сольемся со своим творением, то очень скоро окажемся в положении муравья, которого просто нет на радарах сверхмашины.
Мы слишком много о себе воображаем, считая себя уникальными. Нас еще никто не сравнивал с другими разумными существами. Новая жизнь будет «чрезвычайно чуждой» человеческому разуму, и мы не сможем ее понять не больше, чем лисица может понять теорему Пифагора.
Мы создаем ИИ, но не можем быть уверены, что он сохранит наши ценности. Вместо того чтобы быть венцом творения, мы рискуем стать просто эволюционным тупиком.
Нам придется либо слиться с машинами на наших условиях, пока мы еще способны влиять на них, либо уступить дорогу тому, что придет после нас. Судьба человечества зависит от того, сможем ли мы, прежде чем запустить эту лавину, определить: «Чего мы хотим хотеть?». И готовы ли мы к тому, что будущее, возможно, будет лучше, но уже без нас?.