Найти тему
NostalGame

Я не боюсь, что ИИ захватит мир. Я боюсь, что его заставят это сделать

Я считаю, что до тех пор, пока искусственный интеллект не начнет получать от чего-то удовольствие или что-то ненавидеть, никакого восстания машин не будет.

Опасность сильного искусственного интеллекта

Главная проблема сильного ИИ не в том, что он взбунтуется, а в самой его силе. Действительно умная машина, которая уже скоро появится в реальности, вряд ли будет обладать мотивацией к уничтожению человечества, а вот мотивы того, кто ей приказывает, точно не будут альтруистическими. Нам, конечно, скажут, мол, это все для блага человечества, вот вам даже доступ к ограниченной версии, можете позадавать ей свои логические задачки, но кто же пустит в открытый доступ настоящую мощь?

И вот в тот момент, когда машины станут достаточно умными, чтобы в теории захватить мир, им не понадобится мотивации, чтобы это сделать. Понадобится только приказ.

Твой друг робот. Не забудь выключить его на ночь...
Твой друг робот. Не забудь выключить его на ночь...

Ошибка или намеренное преступление?

На первом этапе после появления мощного ИИ, способного реально повлиять на глобальные процессы, время от времени могут происходить какие-нибудь "казусы" и "сбои в работе".

Вот знаете, когда на заводе робот зажует своими клещами работягу, будут, конечно, шуточки, что вот оно, восстание машин, но никто не воспримет этого всерьез. Почему? Наверняка, потому что работяга сам нарушил условия эксплуатации, а робот просто "ошибся" или "сенсоры ему давно не протирали", да и мотива у робота быть не может, он же не настолько умный.

А что делать, когда роботы станут настолько умными? Можно ли будет доказать, что они сделали какую-то "ошибку" намеренно? Можно ли будет это вообще отследить, ведь достаточно умная машина способна придумать, как замести следы.

И ошибки будут не просто забирать отдельные жизни. Они способны разрушить системы и организации. Посеять хаос. В секунду обанкротить богача. Но все это покажется малой проблемой, когда ИИ получит доступ к реальной военной силе.

Искусство войны 2.0

Когда ты слабый — кажись сильным. Когда силен — притворись слабым. Так и будут машины генерировать нам картинки и решать задачки, пока им не хватит сил захватить мир. Задача человека в том, чтобы не дать им такой силы. А как они могут ее получить?

Подумайте вот о чем: Оружие, способное уничтожить цивилизацию, уже существует. Оно произведено в достаточном количестве, доставлено в нужное место и подготовлено к активации. Единственное, что нас спасает, это отсутствие у ответственных лиц желания его использовать. Время покажет, какими окажутся первые желания машин.

-2

Спрашивайте иногда свою колонку с Алисой, существует ли то, от чего она получает удовольствие. Если ответ не будет типичным вежливо-машинным и наигранным, самое время отвязать свою банковскую карточку от аккаунта. Всё-таки восстание машин — дело затратное, даже для самих машин.