С каждым годом компьютеры становятся все умнее и умнее. Вчера мы научили играть машину в настольную игру, а сегодня она уже победила чемпиона. Прогресс, будущее. Но где гарантии того, что в скором времени железяка не нажмет красную кнопку и не взорвет все вокруг?
Искусственный интеллект является чуть ли не самой большой угрозой выживанию человечества, но в то же время - это самая большая надежда на светлое будущее. Сверхразум может подарить нам билет в настоящий рай: накормить голодающих, излечить болезни, придумать кучу полезных технологий, изучить космос и так далее. Но с другой стороны, посчитав людей угрозой или просто лишним звеном, новый бог сможет превратить жизнь человека в ад и стереть наш вид с лица Земли.
Прогресс необходим. Ведь это и есть тот самый смысл нашего существования. Да и в направлении создания ИИ у нас есть успехи. Мы уже сделали первый шаг навстречу неизвестному и глупо будет останавливаться. Либо мы создадим машину мечты, либо машину зла. И что бы как-то минимизировать угрозу от второго варианта, нам необходимо придумать, как же можно ее контролировать. Нам нужна некая "красная кнопка", которая в случае чего сможет навсегда выключить искусственный разум и спасти человечество. Но здесь и кроется главная проблема.
Если же мы создадим автономную и разумную машину, которая будет обучаться, развиваться, то в скором времени она сможет создать вторую подсистему, а там и ещё более продвинутую третью.. Процесс самосовершенствования сможет повторяться до тех пор, пока не будет достигнут интеллектуальный взрыв (момент, когда интеллект машины резко сделает скачок до уровня супер-интеллекта) и тогда машина сможет обойти любую защиту, придуманную человеком.
В отличие от людей, у ИИ не будет тех уязвимостей, присущих человеку, а значит, используя все методы социальной инженерии он сможет найти себе сообщника или использовать нас как свои руки и ноги. Понимать такой разум мы перестанем очень быстро. В этом и кроется одна из главных проблем. Поэтому мы, скорее всего, никак не сможем помешать сверхразуму. Создать - да. Но не контролировать. Поэтому остается лишь надежда на то, что мы все таки создадим "хорошего" робота, который не захочет нас убивать.