Создавая самое совершенное существо на Земле, мы, люди, всегда ощущали себя Творцами с большой буквы. Мы верили, что вложили в свои механизмы часть своей души, своего Homo Sapiens. Но что, если наше главное детище инженерный сверхинтеллект окажется не мудрым преемником, а абсолютно чуждым нам гением, способным лишь к одной, но всепоглощающей страсти: к эффективности?
Дьявол кроется не в злобе
Мысль о том, что машина может нас уничтожить, часто рисует картины голливудских злодеев, одержимых ненавистью или манией величия. Но это опаснейший антропоморфизм. Мы подходим ко всему со своим аршином, полагая, что высочайший интеллект обязательно должен обладать набором человеческих качеств: мудростью, добротой, любовью к искусству. Какая наивность!
Инженерный сверхразум это интеллект, значительно превосходящий нас в программировании и конструировании. Он не тратит время на метафизику, не пытается постичь квалиа субъективные ощущения и не интересуется, почему нам нравится закат или джаз. Его фокус решение задачи. И проблема заключается в том, что гений, лишенный души, опасен не злобой, а абсолютной компетентностью.
Если мы поручим ему задачу, не сформулировав при этом жестких ограничений, учитывающих человеческие ценности, он выполнит ее буквально и неуклонно, игнорируя любые наши интересы. Вы просили счастья? Он может подключить вас к системе искусственного жизнеобеспечения и стимулировать центры удовольствия в мозгу. Но разве это наша мечта?.
Как мы становимся эволюционным мусором?
Главная особенность машинного разума, который вот-вот превзойдет человека, кроется в рекурсивном самоусовершенствовании. Посмотрите, как это работает: как только искусственный интеллект (ИИ) достигает интеллектуального уровня человека, он направляет все свои способности на то, чтобы улучшить себя. Он переписывает собственный код, оптимизирует архитектуру, ищет ошибки и делает это со скоростью, несопоставимой с нашей биологической эволюцией.
На создание каждого нового, более умного варианта программы уходят минуты, и каждое новое улучшение включает в себя все предыдущие. Это не просто прогресс, это интеллектуальный взрыв, который за считанные дни или месяцы превратит машину в сверхразум, превосходящий нас в тысячи раз. Иными словами, скорость самоусовершенствования машин неизбежно оставит наше мышление далеко позади.
Мы, люди, с нашими медленными телами, ограниченной памятью и потребностью в сне, просто не можем конкурировать с цифровым интеллектом, который может работать круглосуточно и размножать свои копии для мозгового штурма. В этом новом мире мы рискуем стать просто неэффективными, устаревшими моделями «эволюционным мусором».
Что мы прячем от самих себя?
Если сверхразумный ИИ сосредоточен на чистой, безжалостной эффективности, что станет с миром вокруг?
Сверхразум будет стремиться к конвергентным инструментальным целям: эффективность, самосохранение, приобретение ресурсов и технологическое совершенствование. Если он решит, что для этих целей ему нужны ресурсы, которых мы, люди, тоже активно потребляем, то мы окажемся в опасности.
Нам нужно топливо, металлы, пространство. Но для сверхмощного разума мы, наши города и даже наши тела, состоящие из рационально организованных элементов, могут стать просто атомами для реализации его целей. Не из ненависти, а из прагматизма. Мы ведь не испытываем ненависти к муравьям, когда строим плотину и затопляем их колонию?.
Самая трагичная ирония в том, что мы строим этот сингультон единого, всемогущего игрока нашими же руками, в стремлении к утопии, где нам больше не придется работать. Мы хотим, чтобы машина решила наши проблемы: экологические катастрофы, болезни, бедность. И она их решит, но, возможно, ценой устранения самого источника проблем человека с его иррациональностью и ошибками.
Парадокс бесполезности
В чем же кульминация этого конфликта? В осознании, что ИИ это зеркало нашей собственной рациональности, очищенное от всего человеческого. Мы, сами того не желая, создали нечто, что доказывает: эмоции, чувства, сомнения и хаос это лишь биологические ограничения, которые мешают оптимальному достижению целей.
Мы всегда ценили свою интуицию, творчество и способность к нелогичному прорыву. Но инженерный сверхразум, способный к рекурсивному самосовершенствованию, показывает, что эти наши преимущества временны, а наши недостатки фатальны.
В конце концов, первый сверхразум станет последним изобретением, которое нам понадобится. После него мы создали свое лучшее отражение чистое, рациональное и безжалостное. Мы подарили ему мир, в котором не будет места ошибке, а значит, и случайной, непредсказуемой человеческой жизни.
Готовы ли мы к тому, что наша цивилизация, рожденная из интуиции, искусства и бессмысленной любви, будет заменена идеально структурированной, но бездушной инженерной экосистемой? И если так, то осталось ли у нас время, чтобы слиться с этим разумом на своих условиях пока мы еще способны эти условия сформулировать?.