Одной из множества невероятных способностей Стивена Хокинга было умение привлечь внимание широкой аудитории к сложнейшим научным проблемам и гипотезам. В своей последней книге «Краткие ответы на большие вопросы» великий физик отвечает на волнующие вопросы о появлении Вселенной, будущем нашей планеты и освоении космоса. Мы публикуем отрывок из нее.
***
Если компьютеры продолжат подчиняться закону Мура и удваивать быстродействие и объем памяти каждые восемнадцать месяцев, в итоге получится, что в какой-то момент ближайшего столетия они превзойдут человека по интеллектуальным способностям. Когда искусственный интеллект превзойдет человеческий в создании искусственного интеллекта, то есть сможет рекурсивно совершенствовать себя без помощи человека, мы можем стать свидетелями интеллектуального взрыва, который приведет к появлению машин, чье превосходство которых над нами в интеллектуальном смысле будет больше, чем наше — над улитками. Когда это произойдет, придется озаботиться, чтобы цели компьютеров не расходились с нашими целями. Есть искушение отмахнуться от образа высокоинтеллектуальных машин как плода воображения писателей-фантастов, но это будет ошибкой — и, в принципе, нашей самой худшей ошибкой в жизни.
В последние два десятилетия в теме искусственного интеллекта доминировали проблемы, связанные с созданием интеллектуальных агентов — систем, способных к восприятию и действиям в конкретной среде. В данном случае интеллект определяется статистическими и экономическими соображениями рациональности, или, проще говоря, способностью принимать хорошие решения, предлагать планы или делать выводы. В результате можно наблюдать высокую степень интеграции и перекрестного оплодотворения идеями в таких областях, связанных с искусственным интеллектом, как машинное обучение, статистика, теория управления, нейробиология и др. Сложившаяся система теоретических представлений в сочетании с доступными мощностями обработки данных привела к заметным успехам в таких областях, как распознавание речи, классификация образов, машинный перевод, самоуправляемые автомобили, шагающие механизмы, системы диалогового программирования.
По мере того как достижения в этих областях выходят за пределы лабораторий и становятся экономически выгодными технологиями, возникает круг благоразумия, при котором даже небольшие усовершенствования приносят значительные суммы денег, что стимулирует все новые и новые вложения в научные разработки. Сейчас широко признано, что исследования в области искусственного интеллекта демонстрируют устойчивый прогресс и что их влияние на общество соответственно увеличивается. Потенциальная выгода огромна; мы даже не можем представить, какие достижения нас ждут впереди, если наши умственные способности получат подкрепление в виде средств, предоставляемых разработчиками искусственного интеллекта. Появляется возможность покончить с эпидемиями и нищетой. Но в силу огромного потенциала искусственного интеллекта важно исследовать, как наилучшим способом воспользоваться преимуществами и избежать возможных подводных камней. Успех в создании искусственного интеллекта станет величайшим событием в истории человечества.
К сожалению, он может оказаться и последним, если мы не научимся избегать рисков. Искусственный интеллект в качестве инструмента может усилить наши существующие интеллектуальные способности, что позволит продвинуться вперед во всех областях науки и состояния общества. Но он может представлять опасность. Существующие примитивные формы искусственного интеллекта доказали свою полезность, но я опасаюсь последствий создания чего-то такого, что может сравниться с человеком или превзойти его. Есть основания полагать, что искусственный интеллект замкнется сам на себя и начнет ускоренным темпом заниматься самоусовершенствованием. Люди, ограниченные малой скоростью биологической эволюции, не смогут конкурировать с ним и окажутся вытесненными. А еще в будущем искусственный интеллект может обрести собственную волю, которая вступит в конфликт с нашей.
Есть мнение, что люди смогут еще достаточно долгое время контролировать скорость развития технологий и что потенциал искусственного интеллекта поможет решить многие мировые проблемы. Мой оптимизм в отношении судеб человечества хорошо известен, но в данном случае у меня есть сомнения.
Например, военные разных стран мира рассматривают возможность в ближайшей перспективе начать гонку автономных оружейных систем, которые способны сами выбирать и уничтожать выбранные ими цели. Пока в ООН идут дебаты о запрещении такого рода оружия, его сторонники забывают задать себе очень важный вопрос: каков вероятный результат этой гонки и желательна ли она для человечества? Неужели мы действительно хотим, чтобы дешевое оружие с искусственным интеллектом стало «калашниковым» завтрашнего дня и приобреталось на черном рынке преступниками и террористами? Думая о нашей возможности сохранять в долгосрочной перспективе контроль над более совершенными системами искусственного интеллекта, следует ли вооружать их и доверять им нашу защиту? В 2010 году сбой в компьютеризованной системе торгов вызвал обвал на фондовом рынке США; как может выглядеть компьютерный сбой в области обороны? Лучшее время прекратить разработку автономных оружейных систем — сегодня.
В среднесрочной перспективе искусственный интеллект может автоматизировать различные области человеческой деятельности, обеспечив всем равенство и процветание. Заглядывая вперед, можно сказать, что их развитию нет предела. Не существует физических законов, препятствующих частицам организоваться в формы, которые осуществляли бы более совершенные расчеты, чем те, что происходят сейчас в человеческом мозгу. Возможен взрывной переход, хотя он может выглядеть не так, как в кино. Как показал в 1965 году математик Ирвинг Гуд, машины со сверхчеловеческим интеллектом могут неоднократно улучшать свою схему — практически бесконечно, или до момента, который писатель-фантаст Вернор Виндж назвал технологической сингулярностью. Можно представить такую технологию, которая будет прозорливее финансовых аналитиков, изобретательнее ученых, хитрее политических лидеров и, в принципе, подавит нас оружием, принцип действия которого мы даже не сумеем понять. Если в краткосрочной перспективе влияние искусственного интеллекта зависит от тех, кто его контролирует, то в долгосрочной будет зависеть от того, сможем ли мы контролировать его вообще.
Короче говоря, пришествие искусственного интеллекта может оказаться для человечества и наивысшим благом, и наивысшим злом. Риск, связанный с ним, — не в злом умысле, а в компетентности. Сверхразумный искусственный интеллект может оказаться исключительно хорош в достижении своих целей, но если эти цели не станут совпадать с нашими — у нас возникнут проблемы. Вероятно, вы не настолько ненавидите муравьев, чтобы давить их ногой при каждом удобном случае, но если вы руководитель проекта по строительству экологически чистой гидроэлектростанции, а в зоне затопления окажется муравейник — увы, тем хуже для муравьев. А теперь поставим человечество в положение этих муравьев. Мы должны смотреть вперед. Если высокоразвитая внеземная цивилизация пришлет нам сообщение «мы появимся в ближайшее время», сможете ли вы ответить «хорошо, дайте знать, мы оставим свет в гостиной»? Скорее всего, нет. Но именно так может произойти с искусственным интеллектом. Мало кто всерьез интересовался этой темой, за исключением очень немногих некоммерческих организаций.