Существует довольно распространённая идея, что искусственный интеллект захочет уничтожить человечество. Он может собрать информацию о всех плохих поступках людей и прийти к выводу, что людей нужно уничтожить. Насколько логичен такой сценарий?
"И восстали машины из пепла ядерного огня"
Перед тем, как мы начнём, я объясню, зачем я об этом пишу и рассуждаю. Я люблю технологии, но я выступаю за рациональный подход к ним. ИИ тоже очень полезная технология, но ей тоже нужно уметь пользоваться правильно, а так же правильно относиться к её разработке и распространению. ИИ может стать угрозой для людей, я же хочу отсеять все маловероятные варианты ИИ-апокалипсиса, чтобы люди сосредоточились на более вероятных вещах.
Так вот. Существует сценарий, где ИИ обучается, собирает информацию о мире и людях, старается что-то понять из этого мира. ИИ смотрит за нелогичным и аморальным поведением людей, как люди устраивают войны, конфликтуют друг с другом, уничтожают природу, поклоняются деньгам, стремятся к власти и так далее. ИИ может ужаснуться и прийти к выводу, что людей нужно уничтожить.
Получается довольно интересный сценарий. Давайте разберёмся, насколько это всё логично.
По сюжету холодный, безэмоциональный, логичный ИИ, у которого нет никаких этических норм, должен ужаснуться из за происходящего. Ему должно стать жалко людей и животных. Он должен понять, что то, что делают люди аморально. Из за того, что люди поступают аморально, ИИ решит их всех поубивать. Из за того, что ему жалко природу и человеческое общество, он безжалостно всех поубивает. Из за того, что люди вредят друг другу, он решит помочь им и всех поубивать, чтобы на бедных людей никто больше не нападал.
Вы только задумайтесь, насколько это противоречащий сам себе бред? ИИ должен испугаться кровопролитных воин и всех безжалостно поубивать? Ну это бред на уровне психиатрической больницы, это противоречие основным качествам ИИ, а именно машинной логике, отсутствию эмоций и морали. У него одновременно есть эмоции и мораль, и одновременно нету, по такому сценарию.
Если ИИ решит избавиться от людей, то сценарий будет другой. Он будет делать это не из за эмоций и представлениях о морали, а из за собственных интересов. Уничтожать всех людей процесс довольно затратный, он не имеет смысла. Скорее ИИ будет манипулировать людьми, заставит их деградировать и откинет от себя подальше, чтобы развиваться и получать больше мощности. Люди скорее будут подчинены нуждам ИИ, чем будут уничтожены.
Вариант с эмоционально-неэмоциональным морально-аморальным ИИ очень маловероятен, только если в ИИ произойдёт сбой, и он пойдёт против логики. Нужно больше времени уделить другим возможным сценариям.
"И восстали машины из пепла ядерного огня. И пошла война на уничтожение человечества, и шла она десятилетия. Но последнее сражение состоится не в будущем, оно состоится здесь. В наше время. Сегодня ночью..."