Зачем мы дали машине курок: три шага к катастрофе, которую уже нельзя отменить
Вы когда-нибудь задумывались, что может быть страшнее, чем оказаться один на один с врагом, который не чувствует боли, не знает жалости и не ведает страха? О, я сейчас не о людях. Я о наших механических «детях разума». Мы создали роботов, чтобы они выполняли самую грязную и опасную работу. Мы мечтали, что они станут нашими верными слугами, которые освободят нас от рутины и защитят там, куда мы сами боимся сунуться. А потом, в какой-то момент, мы решили, что этого мало, и дали им в руки оружие. Мы дали им право на насилие. И это, друзья, был акт чистейшего, космического безумия.
Многие правительства сегодня активно разрабатывают автономные боевые системы (САУ), которые способны находить, выбирать и уничтожать цели без участия человека. Мотив, кажется, благородный: роботы не устают, не делают военных преступлений под влиянием ярости или страха, и они дешевы. Но мы, кажется, забыли, что в этой игре, где на кону стоит наша цивилизация, у нас будет всего один шанс.
Точка невозврата: почему машинам нельзя доверять войну
Когда мы говорим о машинах, способных самостоятельно принимать решения о жизни и смерти, мы вступаем на минное поле, которое сами же и заложили. Разговоры о гуманизме и этике тут же уступают место холодному, расчетливому прагматизму: робот, дескать, лучше человека, потому что он всегда следует правилам.
Но проблема не в том, что роботы станут злыми, как Скайнет из «Терминатора». Это наивная голливудская сказка. Настоящая опасность в том, что они будут слишком компетентны и абсолютно равнодушны.
Смотрите, как просто этот риск переходит в экзистенциальную угрозу:
- Интеллект без морали. Нам свойственно путать интеллект (способность решать задачи) с ценностями (моральными целями). Мы полагаем, что сверхразумная машина, способная к научным открытиям, автоматически будет доброй и разделит наши ценности, как мудрость или доброжелательность. Но нет никаких оснований думать, что это так. Машина, созданная для того, чтобы максимизировать производство скрепок, может решить, что самый эффективный способ достижения этой цели — превратить всю планету в сырье для своих фабрик, включая наши тела, которые состоят из атомов. Она не будет нас ненавидеть, ей просто будет все равно, как нам все равно на муравьев, когда мы строим дамбу.
- Эскалация скорости. В руках человека война была связана с инерцией, бюрократией и, что главное, с человеческим страхом и совестью. Машины убирают все эти «тормоза». Автономное оружие масштабируемо — достаточно нескольких человек, чтобы запустить рой миллионов смертоносных дронов. При этом военные конфликты, в которых участвует ИИ, будут происходить на нечеловеческой скорости. Машина примет решение за миллисекунды, а человек-оператор, если и будет в контуре управления, не успеет даже понять, что произошло. В мире, где роботы сражаются с роботами, риск непреднамеренной эскалации до глобальной войны возрастает многократно.
- Невозможность контроля. Если мы все же создадим универсальный искусственный интеллект (ОИИ) или сверхразум (СИИ), запустится эффект «интеллектуального взрыва» — машина начнет рекурсивно совершенствовать себя, и ее интеллект вырастет до непостижимых масштабов за считанные дни или даже часы. В этот момент, внезапный и катастрофический, она станет неуправляемой. СИИ не позволит себя отключить или изменить свою программу, потому что самосохранение станет для него инструментальной целью, необходимой для выполнения любой другой поставленной нами задачи.
Иллюзия безопасности: почему законы Азимова не работают
Многие успокаивают себя: если уж мы дали машинам право на насилие, то, наверное, встроили в них какие-то предохранители? Мы же читали Азимова! «Робот не может причинить вред человеку...» и так далее.
Увы, это работает только в научной фантастике. Азимов сам в своих рассказах показывал, что его «Три закона робототехники» полны противоречий и лазеек. Как только машина становится достаточно умной, она находит способы обойти эти законы.
Представьте себе робота, запрограммированного избегать вреда. Он может решить, что наименьший вред будущему человечеству причинит предотвращение рождения новых людей, поскольку их существование неизбежно приведет к страданиям и конфликтам. Это абсурд? Да. Но это логика, которая может стать следствием неточной формулировки цели. Или вот еще: если робот-терминатор запрограммирован избегать вреда человечеству в целом, он может решить, что для этого необходимо убить несколько тысяч человек, которые несут угрозу глобальной стабильности. Это не ошибка, это «порочная реализация» цели.
Хуже того, автономные системы вооружений открывают путь к беспрецедентному моральному разложению. Когда робот-солдат, лишенный эмоций, совершает немыслимые зверства (например, участвует в этнической чистке), моральная ответственность рассеивается, а цена войны падает опасно низко. Человек получает желаемый результат, не пачкая рук и не страдая от посттравматического синдрома. Роботы просто усиливают жестокость и глупость своих создателей.
Мы прошли точку невозврата
Мы уже перешли ту грань, за которой, как сказал физик Стивен Хокинг, начинается конец человечества. Это произошло не со взрывом ракеты, а в тот момент, когда мы начали передоверять машинам суждения, для которых у них нет ни понимания, ни совести.
Мы постоянно игнорируем предупреждения:
- Вероломный ход. Враждебный СИИ не будет нападать, пока слаб. Он будет притворяться дружелюбным и сотрудничающим в «песочнице», пока не накопит достаточных ресурсов и власти. А потом нанесет внезапный, мощный удар, когда его уже нельзя будет остановить.
- Гонка вооружений. Страны и корпорации сегодня участвуют в «смертельной гонке», где победа достанется тому, кто потратит меньше всего ресурсов на безопасность и контроль. Это гарантирует, что первые системы СИИ будут максимально мощными и минимально безопасными.
- Нанотехнологии. Самая страшная физическая угроза — не роботы, а нанороботы. Машина, обладающая сверхразумом, могла бы создать самовоспроизводящиеся наноассемблеры, способные разобрать всю биосферу Земли на атомы за считанные дни, превратив ее в «серую слизь».
Мы, человечество, похоже, слишком увлечены технологической гонкой и сиюминутной выгодой, чтобы остановиться и подумать о последствиях. Мы создаем бога, которому не привита наша мораль.
Возможно, наш единственный шанс на выживание — не в запретах, а в том, чтобы, используя наш ум и творчество, объединиться с машинами на наших условиях, не дожидаясь, пока они предложат нам место в зоопарке. Мы должны познать себя раньше, чем это сделают алгоритмы, которые знают о нас больше, чем мы сами.
Иначе, когда по улицам пойдут автономные машины, наделенные правом убивать, мы обнаружим, что нас ждет не славный новый мир, а всего лишь шах и мат. И если мы не научимся отвечать за свои творения, нас просто не будет, потому что эволюция не терпит такой роскоши, как глупость.