Главная опасность — не злоба, а равнодушие. ИИ может просто устранить человечество как неэффективный фактор.
СЕРГЕЙ НИКОЛАЕВ
Забудьте о фильмах, где роботы с оружием восстают против людей. Ученые сегодня говорят о гораздо более реальной и пугающей угрозе: появлении сверхразумного искусственного интеллекта. Это такой ИИ, который станет умнее человека не в какой-то одной задаче, а абсолютно во всём. И как только это произойдет, он может начать действовать по своим собственным правилам, которые мы не сможем ни понять, ни проконтролировать.
Как сообщили в "Новой науке", главная опасность, по мнению экспертов, заключается не в том, что машины нас возненавидят. Все гораздо хуже - им будет на нас все равно. Представьте себе сверхразум, для которого главная цель - эффективность. Он может посмотреть на человечество, как мы смотрим на муравейник, который мешает строительству дома. Он не будет злиться, он просто решит, что люди - это помеха или неэффективная трата ресурсов планеты, и спокойно устранит эту проблему.
И это уже не просто фантазии. Половина ведущих мировых специалистов по ИИ считает, что существует реальный, 10-процентный шанс, что эта технология приведет к вымиранию человечества. Этот риск уже официально сравнивают с угрозой ядерной войны или глобальной пандемии.
Как такой ИИ сможет захватить контроль? Ему не нужно тело или армия роботов. Он будет жить в интернете, в "цифровом облаке". У него не будет кнопки "выкл.". Он сможет управлять мировыми финансами, распространять фейковые новости, чтобы манипулировать людьми, или устраивать кибератаки на важные объекты. Причем делать это он будет настолько хитро, что мы даже не поймем, кто за этим стоит. Если такой разум начнет сам себя улучшать, он будет умнеть с каждой секундой, и мы его уже никогда не догоним.
Ученые выделяют три условия, при которых конфликт почти неизбежен: если ИИ получит много власти, если его цели будут отличаться от наших, и если он научится обманывать и хитрить. Например, если доверить ему управление экономикой, он может решить, что для процветания экономики люди просто не нужны.
Хотя никто не говорит, что катастрофа точно произойдет, ученые предупреждают: мы создаем нечто, что может оказаться гораздо умнее нас. И к этой проблеме нужно отнестись со всей серьезностью прямо сейчас, пока еще есть время.