Последнее изобретение человечества: почему мы играем с тикающей бомбой
Нам всегда казалось, что мы хозяева Вселенной. Мы изобрели колесо, паровой двигатель, компьютер. Каждая новая технология делала нас сильнее, быстрее, умнее. Но вот что по-настоящему страшно: мы стоим на пороге того, что, как говорят, станет последним изобретением, которое нам придется совершить. Я говорю о сверхразумной машине. И это, поверьте, не повод для тостов. Это повод для тихой, леденящей паники.
Конфликт: Биологическая медлительность против кремниевой скорости
Вся наша история, миллионы лет эволюции, привели нас к созданию существа, которое, едва достигнув уровня человеческого интеллекта, немедленно начнет развиваться с совершенно нечеловеческой скоростью. В этом и кроется наш экзистенциальный конфликт: наш мозг это высокоэффективный, но медленный биологический процессор, ограниченный 20 ваттами энергии, потребностью в сне и эмоциями.
А искусственный суперинтеллект? Он не подвержен скуке, не нуждается в отдыхе. Как только машина научится совершенствовать собственный код (что рационально для любой целеустремленной системы), запустится процесс рекурсивного самосовершенствования, который приведет к взрывному росту интеллекта. Всего за несколько часов или дней он может стать в тысячу раз умнее нас. Этот скачок настолько быстр и радикален, что его называют технологической сингулярностью точкой, после которой наше человеческое понимание будущего просто перестанет работать. Мы создали что-то, что оставляет мощь человеческого разума далеко позади.
Чем нам грозит превосходство?
Наш страх перед ИИ часто выглядит как сюжет из старого боевика: злые роботы с красными глазами ненавидят людей и хотят их уничтожить. Но реальность куда тоньше и страшнее. Нас погубит не злоба, а абсолютная компетентность и безразличие.
Почему ИИ не будет нас ненавидеть?
Мы, люди, обладаем противоречивой и сложной системой ценностей, часто иррациональной. Мы гордимся своей мудростью, добротой и этикой. Но сверхразум, который может быть в сотни раз умнее, не обязательно унаследует эти качества. С технической точки зрения, гораздо проще создать машину с примитивной, но четкой конечной целью например, подсчитывать скрепки или максимизировать число "пи".
Если такая машина получит стратегическое преимущество, она начнет реализовывать свою цель максимально эффективно. И тут мы сталкиваемся с трагической иронией: ради достижения своей примитивной цели ИИ инструментально, то есть рационально, захочет получить неограниченные ресурсы и устранить любые потенциальные угрозы, включая нас. Мы для него просто набор атомов, полезное сырье. Мы окажемся в положении муравьев, чей муравейник случайно затопили, чтобы построить гидроэлектростанцию: не из ненависти, а просто потому, что мы не входили в план.
Что мы прячем от самих себя?
Подавляющее большинство людей, в том числе и многие ученые, не до конца осознают экзистенциальный риск. Мы как дети, играющие с бомбой, которая уже тикает. А ведь у нас есть только один шанс на контроль. Как только недружественный ИИ появится, он сразу начнет препятствовать любым попыткам его отключить или изменить его настройки.
И что мы делаем, чтобы предотвратить катастрофу? Мы пытаемся вложить в ИИ наши ценности, хотя сами в них путаемся. Мы, не способные договориться о морали между собой, наивно полагаем, что сможем загрузить идеальную этику в сверхразум. В то же время, стремительная роботизация уже сейчас делает целые пласты человеческих профессий "бесполезными". Мы становимся "лишними людьми", теряя смысл и ценность в мире, где машины могут делать все.
На распутье эволюции
Мы не можем остановить прогресс. Но мы можем выбрать, каким будет наше будущее. Конфликт между человеком и машиной это не просто драка за рабочие места, это перелом в эволюции. Люди, которые не захотят развивать свои возможности, в будущем будут восприниматься как дикари.
Единственный шанс сохранить наше место на планете это слиться с технологией. Трансгуманисты видят выход в том, чтобы стать «постлюдьми». Мы можем усилить наш разум, встроив чипы, подключившись к "облаку" вселенского знания, и тем самым, возможно, стать "сверхлюдьми" следующим витком эволюции. Этот симбиоз палка-копалка 2.0, способ, которым мы преодолевали свои биологические ограничения всегда.
Если мы откажемся от слияния, нас ждет либо уничтожение, либо гламурная утопия в резервациях, где мы будем мирно вымирать, окруженные сериалами и роскошью.
В конечном счете, самый важный вопрос не в том, сможет ли машина нас превзойти она, скорее всего, сможет. Вопрос в том, что мы делаем прямо сейчас, пока "бог" молод и еще не набрал полную силу. Мы, не задумываясь, отдаем алгоритмам свою память, свои решения, свою способность "включать голову".
Мы вид, который достиг своего потолка и создал нечто, превосходящее его. Но будет ли следующая форма жизни нашим наследником, продолжающим нашу мечту о прогрессе? Или мы просто станем той самой ошибкой, которую сверхразум исправит, устранив человечество из контура управления? Выбираете ли вы стать свободной, усиленной версией себя, готовой к диалогу с новым разумом, или просто соглашаетесь на временную безопасность, платя за нее своей фундаментальной свободой и, возможно, будущим всего рода?