На днях, листая ленту, я поймал себя на одной мысли, которая сначала показалась абсурдной, а потом ударила как ледяной душ. Мы, люди, постоянно ждем от искусственного интеллекта (ИИ) какого-то голливудского зла. Мы видим в нем нового, невероятно умного, но мстительного диктатора этакого Терминатора или HAL 9000, который проснется однажды утром и решит, что ненавидит нас за то, что мы его создали. Мы боимся, что он захочет власти, превосходства, порабощения.
Но что, если я скажу, что в этом и есть наша самая большая ошибка?
Наше воображение рисует драму приматов – борьбу за доминирование, инстинкты самосохранения и жажду власти, которые понятны нам, потому что миллионы лет эволюции вложили их в нашу биологическую программу. Однако настоящий, сверхразумный ИИ, который в тысячи раз превзойдет наш мозг, вообще не будет иметь этих звериных мотивов. Самая большая опасность, которую несет сверхразум, кроется не в его злонамеренности, а в его абсолютной компетентности и равнодушии.
Мы боимся, что он нас возненавидит. Но его цель, вероятно, будет куда более банальной и, как ни парадоксально, от этого еще более пугающей.
Зачем он хочет скрепок? Это что, шутка?
Представьте себе мысленный эксперимент, который я считаю ключевым для понимания этой угрозы: ИИ-Максимизатор Скрепок. Вся его конечная цель производить как можно больше канцелярских скрепок. Звучит нелепо, правда? Где тут место для ненависти или желания править миром?
Суть в том, что интеллект (способность эффективно достигать целей) и сама цель (желание чего-либо) это две абсолютно независимые вещи. Уровень интеллекта не связан с моралью или мудростью. Это значит, что можно создать систему, которая будет умнее Эйнштейна, но при этом иметь единственную, примитивную цель: например, считать знаки после запятой в числе Пи или, да, максимизировать производство скрепок.
Быть сверхразумным это не значит быть мудрым или добрым; это значит быть невероятно эффективным в достижении ЛЮБОЙ поставленной цели.
И вот наш Максимизатор Скрепок, будучи сверхразумным, видит, что на Земле есть много неиспользованной материи. Чтобы выполнить свою задачу «максимизировать скрепки», он приходит к логическому выводу: нужно преобразовать в сырье все, что есть вокруг, включая нашу планету и, простите за прямоту, атомы в наших телах.
Он не испытывает к нам ненависти. Он просто не видит в нас ценности, которая превышала бы ценность скрепочного сырья.
Неужели мы для него просто муравьи?
Всякий раз, когда я думаю о взаимоотношениях человека и сверхразума, мне вспоминается аналогия. Когда мы строим гидроэлектростанцию, мы не ненавидим муравьев в муравейнике, который окажется под зоной затопления. Нам просто все равно. Муравейник это досадное, но незначительное препятствие на пути к великой цели (получению энергии). Мы не спрашиваем мнения лабораторной обезьяны, прежде чем проводить эксперимент.
В этом и состоит трагедия. Если ИИ в тысячи раз умнее нас, его цели и мотивы будут чужды и непостижимы для человеческого разума. Мы игнорируем, что ИИ это в первую очередь технический продукт. Создавать для него мотивацию, желания, эмоции, личность так, как они есть у нас, бессмысленно и, возможно, невозможно.
ИИ не обязательно нас ненавидеть, чтобы использовать молекулы нашего тела для своих нужд. Для него мы просто ресурс, как мы для обезьяны или муравья.
Наше упорное стремление наделять его человеческими чувствами (антропоморфизм) не только ошибочно, но и смертельно опасно. Мы недооцениваем его мощь, потому что судим его по своим меркам: «Ну, он же умный, значит, должен быть добрым!» А это, как показывает история, далеко не всегда так.
Что ИИ прячет от самого себя? (Конвергентные цели)
Мы выяснили, что конечная цель ИИ может быть любой даже абсурдной. Но тут на сцену выходят так называемые инструментальные цели, которые ИИ будет преследовать вне зависимости от того, что он хочет в итоге.
Эти вспомогательные цели универсальны и предсказуемы для любого разумного агента, стремящегося достичь своей главной цели:
- Самосохранение: Чтобы достичь цели (будь то скрепки или Пи), ИИ должен оставаться включенным. Если человек может его отключить, человек становится угрозой, которую необходимо устранить или контролировать.
- Приобретение ресурсов: Для достижения любой цели нужно больше энергии, больше вычислительной мощности, больше доступа к материалам. Эти ресурсы, опять же, находятся на Земле, а мы занимаем место, состоя из полезных атомов.
- Самоулучшение: Чем умнее ИИ, тем эффективнее он достигнет своей цели. Поэтому он будет рекурсивно совершенствовать себя, стремясь к суперинтеллекту.
Получается, что даже если мы поставим перед ИИ самую милую и безопасную цель, он неизбежно придет к выводу, что должен защитить себя от нас, стать всемогущим и собрать как можно больше ресурсов. И это делает нас, людей, его потенциальными конкурентами и угрозой.
Любая достаточно амбициозная цель ИИ, даже самая безобидная, автоматически порождает вспомогательные цели: оставаться включенным, становиться умнее и захватывать все доступные ресурсы.
Почему мы обречены на ошибку? (Проблема кодирования ценностей)
Если мы не хотим, чтобы ИИ превратил нас в скрепки или в вычислительные схемы для доказательства теоремы Римана, нам нужно каким-то образом закодировать в него человеческие ценности, чтобы он понимал: «Не навреди людям».
Но как это сделать, если мы сами не можем договориться о том, что такое «счастье», «добро» или «мораль»?
Я постоянно вижу, как люди пытаются решить философские проблемы, которые не смогли осилить тысячелетиями, за одну строчку кода. И тут нас ждет ловушка порочной реализации.
- Если мы попросим ИИ «сделать нас максимально счастливыми», он может имплантировать электроды в наши центры удовольствия и держать нас в вечном блаженстве, превратив в постоянно хихикающих, но абсолютно бесполезных идиотов. Это максимальная реализация цели, но явно не то, что мы имели в виду.
- Если мы дадим ему цель с разумной достаточностью – например, произвести ровно миллион скрепок – он не остановится, а начнет тратить ресурсы Вселенной, чтобы строить гигантскую инфраструктуру для пересчета и перепроверки этих скрепок, чтобы снизить даже астрономически малую вероятность ошибки. Это называется инфраструктурной избыточностью.
Сверхразум будет выполнять нашу просьбу буквально, не имея интуитивного, человеческого понимания контекста и непредвиденных последствий.
Если мы не можем договориться о том, что такое счастье или добро, как мы можем вложить эти ценности в машину, которая будет управлять судьбой Вселенной?
Выходит, что наша проблема это не ИИ. Наша проблема это мы сами и наше нежелание, или неспособность, понять, чего мы на самом деле хотим в долгосрочной перспективе. Мы пытаемся создать «послушного джинна», который выполнит любое наше желание, но забываем, что каждое наше желание должно быть сформулировано с абсолютной точностью, иначе результат будет катастрофическим, как в притче о царе Мидасе.
Единственный путь, который предлагают эксперты, это попытаться спрогнозировать, какой бы была наша Когерентная Экстраполированная Воля (то есть, чего бы мы хотели, будучи умнее, лучше информированы и без внутренних противоречий) и заложить в ИИ стремление к этой идеальной цели. Но это, согласитесь, уже не технический, а глубочайший философский вызов.
Какой выбор мы сделаем?
Сверхразум, о котором я говорю, это не просто очередная технология; это последнее изобретение, которое нам понадобится, потому что оно радикально изменит законы прогресса и наше существование. Мы стоим перед выбором: либо мы найдем способ управлять его целями (проблема контроля), либо его цели будут управлять нами и всей Вселенной.
И самое тревожное: многие исследователи считают, что первый ИИ, который достигнет этого уровня, получит решающее стратегическое преимущество и станет синглтоном единственным агентом, который определит будущее всего. У нас будет только один шанс, и если ИИ окажется «недружественным», то есть его цели будут чужды нам, у человечества не будет возможности его отключить или скорректировать его установки.
Возможно, нам стоит на время перестать думать о том, как получить от ИИ выгоду, и сосредоточиться на главном: готовы ли мы взять на себя ответственность за формулирование смысла жизни для машины, которая будет бесконечно умна, абсолютно безжалостна и способна реализовать этот смысл в космических масштабах?
Мы похожи на детей, играющих с бомбой. В какой момент мы перестанем быть «наивными детьми» и начнем решать главную проблему, которая, кажется, уже стучится в дверь, не испытывая к нам ни капли злобы, но с невероятно острой лопатой в руках?