Большинство ученых сходятся во мнении, что вероятность появления искусственного интеллекта до середины XXI века — 50%. Прогноз очень абстрактный, и очевидно, что произойти это может как намного раньше, так и гораздо позже. В 1940-х годах, когда были созданы первые компьютеры, ученые предсказывали появление машин, превосходящих интеллект человека, к 1960-м. Прогноз не сбылся, но уже тогда математик Ирвинг Джон Гуд, работавший во время Второй Мировой войны над взломом немецких шифров в команде Алана Тьюринга, предупреждал: «Сверхумная машина — последнее изобретение, которое предстоит сделать человечеству, при условии, конечно, что эта машина будет нас слушаться и укажет, как ее контролировать». Другими словами, первый же искусственный интеллект, созданный людьми, с большой вероятностью будет стремиться к неограниченному овладению ресурсами, а его цели никак не будут связаны с благом человечества. Если учесть, что люди состоят из полезных ресурсов — таких, например, как организованные в определенном порядке молекулы — и сами зависят от множества земных ресурсов, одним из наиболее вероятных последствий появления искусственного интеллекта станет полное исчезновение человечества.
Уже сейчас некоторые системы, у которых еще нет своей воли или способности планировать действия, практически невозможно выключить. Где находится кнопка выключения интернета, например? Я уж не говорю о том, что носитель искусственного интеллекта наверняка предусмотрит попытку его отключения и заранее предпримет необходимые меры безопасности. И уж точно он сможет найти методы влияния на физический мир, чтобы манипулировать волей людей, заставить их работать на себя или предоставить доступ к созданию собственной инфраструктуры.
Не стоит ли нам прекратить разработку искусственного интеллекта в таком случае? К сожалению, это риторический вопрос. Не существует одной организации, которая бы целенаправленно вела эту работу и подчинялась какому-то правительству. Наоборот, по всему миру разбросано множество частных компаний и лабораторий, огромное количество людей занимаются программным обеспечением, нейробиологией, статистикой, дизайном интерфейсов — их исследования тем или иным образом вносят свой вклад в создание искусственного интеллекта. В этом смысле человечество похоже на ребенка, играющего с бомбой — вернее, это целый детский сад, и в любой момент какой-нибудь придурок может нажать не на ту кнопку. Так что когда вы читаете о новых открытиях в области интеллектуальных систем, страх здесь более адекватная реакция, чем эйфория от открывающихся перспектив. Но правильнее всего в данном случае как можно скорее сосредоточиться на задачах, которые помогут уменьшить риски, исходящие от сверхразума, еще до его появления.
За свою историю человечество не научилось управлять своим будущим. Разные группы людей всегда стремились к достижению собственных целей, часто вступая конфликт с друг с другом. Глобальное технологическое и экономическое развитие до сих пор не является плодом сотрудничества и стратегического планирования, и едва ли не последнее, что оно учитывает — это судьба человечества. Совершая новое открытие, мы каждый раз берем из корзины мяч и кидаем его о стену — пока что это были только белые мячи и серые мячи, но однажды может попасться и черный мяч, который, ударившись о стену, вызовет катастрофу. Смысл в том, что у нас не будет шанса спрятать черный мяч обратно в корзину: как только открытие совершается, его невозможно отменить.