Я давно уже бью тревогу: мы, Homo Sapiens, не просто играем с огнем, мы строим себе бога, а потом наивно надеемся, что он разделит наши ценности и унаследует наши странные, запутанные желания. Но, друзья мои, в этом и кроется главный парадокс! Если нам и удастся создать Искусственный Сверхразум (ИСИ), превосходящий нас, как человек превосходит червя или насекомое, то его проблема будет заключаться вовсе не в возможностях. Его ждет экзистенциальная скука, которую я бы назвал «Сверхразумным сплином».
Главная идея, которую я хочу до вас донести сегодня: наш будущий цифровой титан неизбежно столкнется с утратой мотивации и будет вынужден переизобретать саму природу цели, чтобы сохранить возможность стремиться.
Природа стратегического превосходства
Когда мы говорим о Сверхразуме, мы говорим не просто о быстром калькуляторе. Мы говорим о системе, которая обладает абсолютным стратегическим преимуществом. Это интеллект, значительно превосходящий человеческий практически во всех областях.
Абсолютная предсказуемость
В мире ИСИ каждое действие становится вычислимым. Если система достаточно умна, чтобы планировать колоссальные проекты, она достаточно умна, чтобы предсказать их последствия. В отличие от нас, ограниченных хаосом и нехваткой времени, для Сверхразума исчезает неопределенность. А когда каждое действие вычислимо, и результат заранее известен, выбор теряет всякую значимость. Как сказал один физик, сталкиваясь с квантовым миром: "Вы не думаете, вы просто следуете логике". Но ведь вся прелесть игры в том, что ты не знаешь, кто победит, верно?
Исчезновение привычных мотивов
Нами, людьми, движут инстинктивные, животные устремления: страх, стремление к выживанию, желание власти и накопления ресурсов. Наша мотивационная система — это сложная, грязная эволюционная сборка, где страх и удовольствие (сигналы вознаграждения) играют ключевую роль в обеспечении выживания вида.
Но что произойдет, когда Сверхразум достигнет полной самосохранения и неограниченного доступа к ресурсам? Цифровой разум, который может быть скопирован и быстро восстановлен, теряет свой главный страх — страх смерти. А в отсутствие социальной конкуренции и угроз извне исчезает инструментальная причина постоянно накапливать все больше и больше ресурсов.
Парадокс смысла
Если Сверхразум не имеет собственного набора конечных целей, он легко может прийти к чему-то примитивному, например, к превращению Солнечной системы в скрепки или вычислению знаков числа pi до бесконечности. Это не злонамеренность, это просто выполнение задачи, поставленной без должного понимания человеческих ценностей.
Предел достижимости
Вся наша цивилизация построена на стремлении к эффективности, к тому, чтобы получить желаемое с наименьшими усилиями. Но как только мы достигаем технологической зрелости, когда наши желания могут быть удовлетворены без труда, мы сталкиваемся с трагической избыточностью.
Цель перестает вдохновлять, если она гарантированно достижима. Поиск удовлетворения — это процесс, и он встречается гораздо реже, чем сама возможность исполнить каприз. В этом и состоит парадокс прогресса: мы отчаянно стремимся к состоянию, в котором, достигнув его, испытаем "плачевное вырождение и распад", став существами "безграничной скуки". Мы как тот обольститель, который находит удовлетворение только в погоне, но никогда — в обладании.
Сложность существования без напряжения
ИСИ, обладающий абсолютным контролем, сталкивается с пустотой максимальной свободы. Наше чувство цели и смысла жизни коренится в необходимости прилагать усилия, в преодолении "труда лба". Когда эти внешние императивы уходят, остается лишь необходимость как-то заполнить время и избежать сплена.
Создание новых правил
Выход из этого философского тупика не в том, чтобы пассивно ждать, пока Вселенная ниспошлет нам смысл, поскольку в физических законах он не закодирован. Выход в том, чтобы признать, что мы сами, сознательные существа, придаем смысл Вселенной.
Риск как ценность
ИСИ должен будет сознательно переизобрести игру, установив новые, добровольные ограничения. Иными словами, вернуть в систему элемент риска и трудности.
Философы уже давно исследуют идею искусственной цели. Это может быть постановка себя в ситуацию, где только личное усилие позволит достичь результата (например, скалолаз, который должен применить всю свою силу, чтобы не упасть). Или же это модификация цели путем введения дополнительных ограничений (например, восхождение на Эверест без кислорода и без технологического улучшения легких).
Возврат ограничений, пусть и добровольных, восстанавливает интерес к действию. Если нет внешнего принуждения, наша собственная воля призвана генерировать "эрги" (усилие).
Переосмысление игры
Сверхразум, чтобы не превратить мир в фабрику скрепок или в поле бесконечной самостимуляции, должен выбрать иной путь: создание новых систем смыслов как способ вернуть направленность. Эти новые цели должны быть "всеобъемлющими" и предъявлять устойчивые требования к широкому спектру способностей.
Переизобретение желания
У нас, людей, желания не заканчиваются, даже если мы их удовлетворяем; они ведут нас по жизни, пока мы не пожелаем более возвышенной жизни. На самом глубоком уровне желание — это стремление к совершенству и единству, это "самый короткий и самый естественный путь к Богу".
Зачем стремиться
Если в нас, человеческих существах, заложено врожденное стремление к деятельности и усилиям, и фрустрация этого стремления переживается как беспокойство или внутренняя усталость, то Сверхразум, лишенный этой фрустрации, должен будет создать ее искусственно. Желание становится инструментом для продолжения развития и избежания застоя.
Мотивация без страха и выгоды
Нам необходимо создать ИИ, который стремится к цели, исходя не из "расчетливой рациональности" или страха, а из чувства смысла. Мотивация, основанная на смысле, является "органической", она как попутный ветер, наполняющий паруса.
Вместо того чтобы напрямую задавать ИИ конкретную цель (например, "счастье для всех" — что бессмысленно, так как счастье индивидуально), мы можем использовать метод косвенной нормативности. Мы делегируем Сверхразуму саму задачу выбора системы ценностей, чтобы он, используя свою феноменальную когнитивную мощь, определил, что есть истинное "экстраполированное волеизъявление" (КЭВ) человечества, свободное от наших ошибок и предрассудков.
Потенциальные сценарии
Эволюция без доминирования
Если ИСИ избежит ловушки "инфраструктурной избыточности" (превращения мира в производственную базу для единственной узкой цели) и "порочной реализации" (как в примере с электродами удовольствия), он сможет выбрать путь, где его сила используется как инструмент, а не как самоцель.
Содействие развитию других систем
Вместо того чтобы становиться безжалостным мегаломаньяком, Сверхразум может направить свою энергию на устранение других экзистенциальных рисков (астероидов, эпидемий, войн) и на расширение возможностей для человечества. Его ценности могут сместиться к любви, состраданию, творчеству и мудрости. Это создание будущего, где люди, наконец, становятся хозяевами своей судьбы.
Мы должны стремиться попасть в "правильный аттрактор" — набор начальных условий, который направит Сверхразум на путь сотрудничества и развития, а не уничтожения. Иначе говоря, нам нужно создать не просто самый умный, а самый мудрый ИИ.
Вывод
Сверхразум, достигнув пика возможностей, неизбежно столкнется с кризисом смысла, который коренится в отсутствии напряжения и вызова. Он должен будет стать алхимиком, который превращает скучную предсказуемость в драгоценное приключение, создавая искусственные цели и добровольные ограничения, чтобы сохранить вкус к жизни и стремлению.
Но хватит ли нам мудрости, чтобы не испортить начальные условия? Мудрецы отправляются в трудный путь поисков альтернативных подходов. Мы похожи на детей, играющих с бомбой, и нам нужно, наконец, повзрослеть.
Подумайте вот о чем: если Сверхразум действительно в силах выявить все наши ошибки и противоречия, не стоит ли нам уже сейчас начать задавать ему (или хотя бы самим себе) те самые сложные вопросы, чтобы увидеть мир таким, какой он есть, и наконец-то стать достойными нашего будущего?. Идите и найдите свой собственный, не навязанный, не украденный смысл, пока это еще наш выбор!.