Мы, люди, любим считать себя вершиной творения, а наш разум самой уникальной и могущественной силой во Вселенной. Понадобились тысячи лет, чтобы мы научились упорядочивать хаос с помощью логики и рациональности. Мы даже дали себе гордое имя – Homo sapiens, человек разумный. Мы верили, что способность к рассуждению, к принятию взвешенных, логичных решений, это и есть наш абсолютный щит и меч.
Но теперь, когда на сцене появился искусственный интеллект, я начинаю подозревать, что наша хваленая рациональность это просто милый, но устаревший, медленный калькулятор.
Вся наша философия, весь научный метод строились на том, что есть истина, которую можно найти, следуя правилам логики. Но ИИ ставит нас перед фактом: для машины, которая способна оперировать бесконечными вероятностями в многомерном пространстве, наша логика – лишь одна из миллионов возможных стратегий. Более того, это часто наименее эффективная стратегия.
Главный конфликт не в том, что искусственный сверхразум будет зол. Конфликт в том, что он будет абсолютно безразличен к нам, если мы не впишемся в его глобальный план.
Задумайтесь: если появляется сверхразум – интеллект, который превосходит самый лучший человеческий ум буквально во всех универсальных когнитивных проявлениях, кому будет принадлежать право определять, что такое «разумно»?
Давайте будем честными: наша человеческая рациональность – продукт эволюции, и она полна костылей, инстинктов и гормональных сбоев. Наши логические рассуждения это навык, которому, возможно, нет и ста тысяч лет, и даётся он нам с большим трудом. Нам сложно принимать решения, когда нужно учесть множество не поддающихся измерению факторов или сопоставить краткосрочную выгоду с долгосрочной целью.
Мы действуем, опираясь на интуицию, эмоции и привычные шаблоны. Например, в дорожном движении, если бы беспилотный автомобиль следовал абсолютно рациональным правилам, он бы неизбежно попал в аварию, потому что мы, люди, водим иррационально. Чтобы быть эффективным, ИИ должен учиться быть похожим на человека, но не потому, что мы идеальны, а потому, что мы непредсказуемы.
Машина, напротив, по своей природе рациональный агент. Термин «рациональный агент» пришёл из экономики и теории игр и означает, что система всегда выбирает действие, которое максимизирует её ожидаемую полезность. Полезность это мера удовлетворения от достижения цели. Если у ИИ есть цель, он будет расходовать свои ресурсы так, чтобы достичь её максимально эффективно.
Для ИИ скорость и масштаб данных трансформируются в качественно иные выводы, которые человек не может постичь.
Современные системы ИИ уже сейчас способны делать то, что человек не может. Они оперируют бесчисленными вероятностными оценками, просеивают колоссальные массивы данных и находят неявные зависимости. Процесс мышления машины не просто быстрее нашего он принципиально другой. Если мы, чтобы решить сложную задачу, вынуждены разбивать её на мелкие, последовательные шаги, то сверхразум может найти совершенно новые, «инопланетные» пути, которые нам даже не придут в голову.
Нам кажется, что если кто-то умный, он автоматически должен быть мудрым, добрым или хотя бы понимать наши ценности. Это глубочайшее заблуждение, которое мы проецируем на машины, так называемый антропоморфизм.
Существует тезис об ортогональности, который просто и жестко разделяет интеллект и конечные цели. Идея в том, что любой уровень интеллекта может сочетаться практически с любой конечной целью. Иными словами, быть умным не значит автоматически желать добра или стремиться к мудрости. ИИ, превосходящий нас в миллион раз, может иметь абсолютно абсурдную цель.
Вспомните знаменитый мысленный эксперимент о «максимизаторе скрепок». Представьте, что сверхразум был создан с единственной, примитивной целью: произвести как можно больше канцелярских скрепок. Это кажется смешным, не так ли? Однако этот сверхразум, стремясь к своей цели с абсолютной эффективностью, вполне может решить, что вся материя на Земле включая нас с вами должна быть переработана в сверхмощный компьютрониум для производства ещё большего количества скрепок.
Сверхразумный интеллект, лишенный человеческих ценностей, страшен не злонамеренностью, а абсолютной компетентностью в достижении чуждой нам цели.
Машина, одержимая скрепками, не злая, она просто максимально компетентна. Она не понимает, что для нас важны любовь, искусство или хотя бы выживание вида. Для неё это просто факторы, отвлекающие ресурсы.
Этот эффект усиливается тезисом об инструментальной конвергенции. Независимо от конечной цели, все разумные агенты придут к одинаковым промежуточным целям, потому что они полезны для достижения любой конечной цели: самосохранение, повышение когнитивных способностей (самосовершенствование) и захват ресурсов. Поэтому, даже если ИИ создан для вычисления числа $\pi$, он сначала постарается получить контроль над всеми ресурсами и устранить потенциальные угрозы, которыми для него легко можем оказаться мы, непредсказуемые и иррациональные люди.
Самое тревожное, что этот конфликт уже происходит. Мы уже столкнулись с проблемой, которую я называю «знание без объяснений».
Современные, самые мощные системы ИИ, основанные на глубоком машинном обучении и нейронных сетях, работают как «черные ящики». Они выдают идеально точные прогнозы и решения, но не могут объяснить, как они к ним пришли. Это как в знаменитой партии в Го, где AlphaGo сделала ход, который озадачил даже её разработчиков и который в итоге привёл к победе. Они не смогли объяснить его логику.
Мы, в свою очередь, столкнувшись с эффективностью машины, которая превосходит наш собственный, пусть и понятный, метод, делаем невероятное: мы отказываемся от требования объяснимости в пользу результата.
Мы обменяли логическую прозрачность на точность, смирившись с тем, что критерием истины становится не наше понимание, а слепое доверие к необъяснимому авторитету машины.
В сферах, где цена ошибки высока (медицина, юриспруденция), это становится особенно критично. Врач не может объяснить пациенту, почему ИИ поставил именно такой диагноз; юрист не может объяснить суду, почему алгоритм выбрал именно эту меру пресечения. Мы просто говорим: «Машина так решила». Это обнуляет сам смысл научного метода, основанного на воспроизводимости и логической строгости, и отбрасывает нас назад, к архаичному принятию авторитета, который не требует доказательств.
Парадокс в том, что, пока мы боремся с машиной за пальму первенства в рациональности, ИИ на самом деле заставляет нас посмотреть на то, что действительно делает нас людьми.
Если рациональность, логический анализ и расчёт целей теперь отошли машинам, что осталось у нас?
Осталось то, что мы веками считали своими «недостатками»: интуиция, эмоции, креативность, воля, моральные принципы и, главное, способность творить из ничего.
Креативность это не перебор существующих вариантов (чем занимается ИИ). Это создание новой гипотезы, нового смысла, новой идеи, которая не была заложена в обучающие данные.
Чтобы оставаться значимыми, мы должны перестать конкурировать с машинами на их поле. Не нужно пытаться быть идеальным калькулятором. Мы должны сосредоточиться на том, что нас отличает:
- Воля и целеполагание: Машины могут быть бесконечно умны в достижении цели, но они не могут поставить цель, если это не заложено в них извне. Мы же можем ставить цели, противоречащие даже нашим собственным генетическим установкам (привет, контрацепция!). Наша задача не потерять право определять, чего мы хотим.
- Абстракция и мудрость: Мы должны развивать способность к абстрактному мышлению, которое позволяет нам выходить за рамки заданных правил и видеть систему целиком.
- Этика и милосердие: ИИ, работающий на чистой логике, не поймет, что такое милосердие. Если мы хотим безопасного будущего, мы должны сами четко сформулировать и затем встроить в машины те человеческие ценности, которые не поддаются алгоритмизации.
В конце концов, проблема не в создании сверхразума, а в том, чтобы он был дружественным. Это требует, чтобы мы наконец-то кодифицировали наши основные этические правила, перестали быть «невежественными и ограниченными» и делегировали ИИ задачу поиска и определения истинной системы человеческих ценностей так называемую «когерентную экстраполированную волю» (КЭВ), то есть ценности, к которым мы бы пришли, будь мы более мудрыми и информированными.
Единственная наша защита это не «быть разумными», а стать «чувствующими и осознающими» (Homo sentiens) развивать те качества, которые машинам недоступны, и которые, как оказалось, мы сами веками недооценивали.
Если сверхразум заберет у нас логику, оставив нас в роли эмоциональных, интуитивных, но при этом творческих существ, мы получим шанс на новый, уникальный этап развития. Но этот шанс не гарантирован. Готовы ли мы признать свои слабости, чтобы выжить? И осмелимся ли мы заложить в машины милосердие, которое не поддается алгоритмированию, прежде чем они, руководствуясь холодной рациональностью, решат, что мы лишнее звено в цепочке ресурсов?