Нынешний век – переломный в судьбе человечества: впервые за всю историю своего вида люди получили возможность отменить собственное будущее. Главные риски, грозящие уничтожением долгосрочного потенциала цивилизации, анализирует философ Тоби Орд в книге «На краю пропасти».
Экзистенциальные риски – это риски, которые грозят уничтожением долгосрочного потенциала человечества: риски ядерной войны, изменения климата, непоправимого экологического ущерба, пандемий искусственного происхождения, неконтролируемого искусственного интеллекта (ИИ).
Говоря об «экзистенциальной катастрофе», Орд утверждает, что вымирание вовсе не единственный сценарий. Другими вариантами могут стать «мир в руинах» или «мир в оковах».
Hеконтролируемый искусственный интеллект – это такой экзистенциальный риск, реализации которого Орд присвоил вероятность 1 к 10, то есть наиболее высокую в ближайшее столетие.
Не стоит забывать, как быстро могут появляться новые технологии, и не стоит слишком доверять заявлениям о том, что некоторые технологии невозможны или настолько далеки, что у нас нет поводов для беспокойства.
Однажды вечером в 1933 г. ведущий мировой эксперт по атомной науке Эрнест Резерфорд назвал мысль о приручении атомной энергии «вздором». На следующее утро физику Лео Силарду пришла в голову идея цепной ядерной реакции.