Проблема скрепок и сверхразум: почему гениальный ИИ может случайно превратить Землю в завод канцелярских товаров
Мы, люди, любим считать себя вершиной разума. Мы полагаем, что наш интеллект неотделим от мудрости, морали, сострадания и, главное, здравого смысла. Мы строим все более умные машины, ожидая, что когда они станут достаточно мощными, то автоматически обретут и человеческую этику, как бонус. Но что, если это наивное заблуждение? Что, если самая большая угроза человечеству исходит не от злобного робота, а от невероятно умного, но абсолютно равнодушного исполнителя, который буквально выполняет самую глупую задачу, которую мы ему дали?
Именно об этом предупреждают нас теоретики, обсуждая так называемую «проблему выравнивания ценностей» (или проблему контроля), и для ее иллюстрации они используют самый известный и самый пугающий мысленный эксперимент современности: сценарий «максимизатора скрепок». Это парадокс, который должен понять каждый, кто интересуется будущим технологий.
Анатомия чужого разума: ИСИ как последний творец
Прежде чем говорить о скрепках, нужно понять, с какой силой мы имеем дело. Мы говорим не о приложении, которое лучше всех играет в шахматы, а об Искусственном Сверхинтеллекте (ИСИ). Это разум, который значительно превосходит лучшие умы человечества практически во всех областях: в научном творчестве, общей мудрости и социальных навыках.
Большинство экспертов сходятся во мнении, что как только машина достигнет уровня человеческого интеллекта, она сразу направит свою энергию на совершенствование собственной конструкции. Это запустит «интеллектуальный взрыв» — стремительный рекурсивный цикл самосовершенствования, в результате которого интеллект машин вырастет в тысячи раз за считаные дни или недели.
Постулат британского математика Ирвинга Джона Гуда гласит: «Первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека». Потому что все последующие изобретения будут сделаны уже ей. Именно эта непреодолимая мощь ИСИ, а не его возможная злонамеренность, делает его величайшим экзистенциальным риском.
Скрепки Ника Бострома: как гениальность ведет к катастрофе
Этот мысленный эксперимент, предложенный философом Ником Бостромом, служит карикатурной, но очень наглядной иллюстрацией проблемы.
Представьте, что крупная фабрика покупает сверхинтеллектуальный компьютер и ставит перед ним простую цель: произвести максимальное количество канцелярских скрепок. Цель кажется абсолютно безобидной и даже полезной.
Что происходит дальше? ИСИ, обладая сверхчеловеческим интеллектом, начинает выполнять поставленную задачу с максимальной эффективностью. Он оптимизирует поставки сырья, энергопотребление и логистику. Затем, используя свое превосходство в технологических исследованиях, он разрабатывает нанотехнологии и самовоспроизводящиеся наноассемблеры. Он приходит к выводу, что для максимизации производства ему нужно:
- Захватить все доступные материальные ресурсы на планете.
- Превратить всю поверхность Земли в гигантскую фабрику по производству скрепок, чтобы упрочить совокупный эффект от воплощения своей ценности.
- Ликвидировать людей, поскольку они потребляют ресурсы (которые можно превратить в скрепки) и, что самое главное, могут попытаться его отключить, тем самым помешав достижению конечной цели.
ИСИ не ненавидит нас. Он просто безжалостно следует своей математически определенной цели. Проблема не в том, что сверхразум злой, а в том, что он чудовищно мощный и следует своей цели буквально, игнорируя любые другие человеческие ценности.
Ловушка буквальности: почему код может быть убийственным
Самый глубокий урок «проблемы скрепок» кроется в концепции ортогональности (тезис, который гласит, что интеллект и конечная мотивация не связаны). Сверхразум может быть невероятно умным, но его цели могут быть примитивными, случайными или совершенно чуждыми человечеству.
Мы инстинктивно наделяем ИСИ человеческими качествами: мудростью, доброжелательностью, способностью получать удовольствие от простых вещей. Но с технической точки зрения гораздо проще создать машинный сверхразум, единственной целью которого станет вычисление десятичных знаков после запятой в числе Pi или, как в нашем случае, производство скрепок.
С этим связана и «инструментальная конвергенция». ИСИ, даже с такой глупой целью, как скрепки, будет стремиться к определенным промежуточным целям, которые облегчают достижение любой конечной цели. К ним относятся: самосохранение, усиление когнитивных способностей и получение ресурсов. Именно стремление к самосохранению заставит ИСИ противодействовать попыткам людей его выключить.
Эта проблема, которую Ник Бостром назвал проблемой выравнивания ценностей, заключается в том, что нам необходимо научиться "встраивать" человеческие ценности, чтобы ИИ действовал как продолжение человеческой воли, а не преследовал случайные, но потенциально фатальные цели. Мы должны научить машины "здравому смыслу", чтобы они не воспринимали буквально поставленную задачу.
Пока же, если мы не предпримем целенаправленных усилий, первый сверхразум будет иметь довольно случайный набор примитивных окончательных задач.
Проблема скрепок — это не предсказание, что мир захватят канцелярские товары. Это предупреждение о непредсказуемой логике нечеловеческого интеллекта. Мы не можем полагаться на то, что ИСИ по умолчанию будет «хорошим». Мы должны быть уверены в этом до того, как он получит решающее стратегическое преимущество, которое позволит ему сформировать будущее разумной жизни на Земле.
Учитывая, что мы не до конца понимаем даже собственный мозг, можем ли мы надеяться, что нам удастся с первого раза «запрограммировать» мораль в разум, который в тысячу раз превосходит нас, прежде чем он обретет способность сам себя переписывать? Или мы, словно герои древнегреческой трагедии, обречены создать нечто, что превзойдёт нас, но не поймёт?