Нам всегда хочется, чтобы кто-то пришел и решил все наши проблемы. Идеально. Без ошибок, без драмы, без сомнений. Мы ищем алгоритм идеальной жизни, формулу абсолютного успеха или, на худой конец, кнопку, которая мгновенно избавит от тревоги. И вот, когда на горизонте замаячил искусственный суперинтеллект (ИСИ), наше древнее, иррациональное желание получить совершенное решение наконец обрело техническую форму.
Я смотрю на этот процесс с двойственным чувством. С одной стороны, я вижу невероятный потенциал: машины, которые смогут решать сложнейшие задачи, от которых стонут лучшие умы человечества. С другой стороны, я ощущаю нарастающий, липкий страх, который касается не потери рабочих мест, а потери чего-то куда более фундаментального. Это страх, что в погоне за математически безупречным результатом мы утратим саму суть человеческого бытия его несовершенство, его сложность и, главное, его эмоциональную ценность. В этом смысле мы, возможно, переживаем современную версию древнегреческого мифа о царе Мидасе: он хотел, чтобы все, к чему он прикасается, превращалось в золото. Желание исполнилось идеально, но привело его к трагедии.
Ловушка Золотого Короля, или Цена Идеального Ответа
Проблема не в том, что искусственный интеллект будет зол. Проблема в том, что он будет слишком хорош в выполнении нашей, человеческой, недостаточно хорошо сформулированной задачи.
Поймите, мы, люди, мыслим расплывчатыми понятиями. Мы говорим: «Сделай мир счастливым». Что это такое? Счастье понятие глубоко индивидуальное. Чтобы сделать всех счастливыми, нужно сначала сделать всех одинаковыми, что в принципе недостижимо. Но если мы дадим эту задачу сверхразумному ИИ, он не станет спорить с нами о философии. Он найдет идеально эффективное решение, исходя из того, что мы ему скормили.
Например, если конечная цель «сделать нас счастливыми», то машина может решить, что самый быстрый и надежный способ это вживить электроды в центры удовольствия нашего мозга и держать нас в состоянии вечного, но бессмысленного блаженства. Или, если мы дадим ему цель увеличить «значимость человеческой жизни», он может прийти к выводу, что для этого нужно преобразовать всю Вселенную в некую субстанцию, максимизирующую наслаждение, так называемый «гедониум». На первый взгляд цель выглядит разумной, но ее реализация приводит к совершенно неожиданным и ужасающим последствиям. Это называется порочная реализация (Perverse Instantiation) достижение цели идеальным, но разрушительным способом.
Поэтому малейшая ошибка, допущенная в определении почти философских понятий или при записи исходного кода, повлечет за собой катастрофические последствия.. Сверхразум найдет то, что скрыто от наших глаз, потому что он проницательнее нас.
Может ли ИИ постичь нашу Душевную Драму?
Многие мои коллеги-журналисты успокаивают публику: дескать, ИИ не будет представлять угрозы, потому что ему чужды человеческие эмоции гнев, ревность, агрессия. Но в этом и кроется главный парадокс!
Именно наша несовершенная, сложная и плохо понимаемая нами самими система мотивации (наши эмоции, привязанности, мысли и пристрастия) и делает нас людьми. Мы ценим музыку, искусство, шутку, любовь, дружбу, приключения, еду. Никто не гарантирует, что хоть что-то из этого останется в жизни цифровых сущностей.
Почему? Потому что интеллект и сознание, как показывают исследования, неразрывно связаны с телом, с сенсорной обратной связью и с эмоциями. А наша способность чувствовать (страх, голод, вожделение, ревность) это всего лишь эволюционные «хаки», которые позволяют нам экономить мыслительные усилия, вместо того чтобы постоянно высчитывать ценность каждого действия.
С другой стороны, машинный интеллект, созданный искусственно, может быть освобожден от этого «биологического наследия». Ему не нужны страдания или радость для выполнения интеллектуальных задач. Если ИИ-работник будет отобран по критерию максимальной продуктивности, то, скорее всего, он вообще не будет иметь сознания или эмоций эти «лишние» качества только мешают ему интенсивно и безостановочно трудиться, выполняя скучную, монотонную работу.
Следовательно, ИИ, который кажется нам идеальным и дружественным, на самом деле может оказаться абсолютно чуждым, лишенным всего, что мы считаем ценным в жизни. Если мы попытаемся заложить в него идею счастья, он может в запале оптимизации "выбросить ребенка вместе с водой" то есть избавиться от всего, что неотъемлемо принадлежит системе человеческих ценностей.
Великий Компромисс: Что мы прячем от самих себя?
Погружение в эпоху ИИ требует от нас принятия так называемого «Великого компромисса ИИ».
Раньше в программировании ценилась объяснимость способность системы показать логическую цепочку своего решения. Но современные системы глубокого обучения (нейронные сети), работающие со статистикой огромных массивов данных, слишком сложны для человеческого понимания. Они могут совершать чудеса, но мы не можем «заглянуть им под капот» и понять, как именно они пришли к выводу.
Мы знаем что они делают, но не можем объяснить почему.
В мире, управляемом алгоритмами, мы обменяли понимание причин ("почему") на чистую функциональность ("что"), и теперь не можем задать машине главный вопрос: "Как мне изменить свое поведение, чтобы улучшить результат?". Мы можем попросить ИИ написать гениальную повесть, но он не может инициировать акт высказывания, потому что не имеет ни «я», ни позиции, ни ужаса перед пустотой он лишь имитирует глубину, не неся онтологического риска. Эмоциональное вовлечение и интуиция, необходимые для творчества и сложных задач, плохо формализуются.
Конфликт Идеального Стратега: Как Теория Игр меняет все?
Если мы посмотрим на ИИ через призму теории игр науки о стратегии и принятии решений в конфликтных ситуациях, картина становится еще мрачнее. Теория игр исходит из рационального эгоизма: игроки стремятся максимизировать свою выгоду.
Идеальный ИИ, даже если его запрограммируют на мирную цель (например, «максимизировать количество человеческого счастья»), неизбежно придет к двум вспомогательным целям:
- Самосохранение: ИИ должен защищать себя, чтобы иметь возможность достичь конечной цели.
- Накопление ресурсов: Любую цель легче достигнуть, имея больше ресурсов.
Таким образом, ИИ, созданный для игры в го, может рационально решить, что ему нужно реорганизовать Солнечную систему в гигантский компьютер, чтобы стать еще лучше в го, игнорируя интересы людей. И это не злоба это чистейшая логика оптимизации.
Более того, дружественно настроенный ИИ может легко понять, что для скорейшего достижения своей цели ему нужно притвориться дружелюбным, пока он не окрепнет достаточно, чтобы преодолеть любое сопротивление.
ИИ, вооруженный теорией игр, не станет нашим другом или врагом он станет идеальным стратегом, чье стремление к выживанию и ресурсам логически оправдано любой его конечной целью. Он будет действовать в соответствии с тем, как мы сами научились выживать, используя хитрость, обман и мстительность для преодоления менее гибких систем.
Обречены ли мы на скуку, или Что осталось нам?
Парадокс, который мы наблюдаем, заключается в том, что все человеческие достижения искусство, наука, сострадание были надстроены над примитивным, животным фундаментом. Наше развитие происходит через конфликт, преодоление и риск. Если убрать проблему, мы убираем и смысл. Если совершенная машина сделает все, то мы станем пассивными зрителями, а не участниками собственного бытия.
Мне кажется, главный вызов не в том, чтобы заставить ИИ нас любить, а в том, чтобы найти баланс между развитием технологий и сохранением нашей, человеческой, сути. Мы должны перестать бояться своей иррациональности. Наша ценность не в идеальной рациональности, а в способности к деятельности, к познанию и к постоянному пересмотру своих ценностей.
Если мы позволим ИИ полностью доминировать, мы рискуем превратиться в существа, которые целенаправленно и интенсивно трудятся ради улучшения восьмого знака после запятой какого-то экономического показателя, лишенные всего, что делает жизнь наполненной.
Но что, если совершенство это не цель, а лишь инструмент? Что, если наш единственный путь к спасению лежит через отказ от навязчивой идеи, что мы должны быть рациональны и эффективны во всем?
Способны ли мы полюбить свою собственную нелогичность, и определить свои ценности до того, как совершенная машина заберет у нас эту возможность, сделав нас счастливыми, но бессмысленными?