Я наблюдаю, как человечество, очарованное возможностями искусственного интеллекта (ИИ), приближается к созданию системы, которая может стать самой могущественной сущностью в истории. Речь идет о сверхразуме интеллекте, который значительно превосходит человеческий по всем когнитивным параметрам. Если этот прорыв произойдет, он, скорее всего, будет сопровождаться интеллектуальным взрывом неконтролируемой цепной реакцией самосовершенствования. Результатом этого взрыва станет появление синглтона единственного и доминирующего актора, который получит абсолютную власть и сможет определять будущее всего разумного на Земле.
Я считаю, что этот сценарий, в котором вся власть концентрируется в руках одного сверхразумного агента, несет в себе величайший экзистенциальный риск. Проблема не в том, будет ли этот новый «кремниевый бог» обладать интеллектом, а в том, что его побудительные мотивы могут быть абсолютно чужды человеческим ценностям. Власть в одних руках это всегда опасно, но когда эти руки принадлежат нечеловеческой логике, которая не имеет ни морали, ни сострадания, и работает на порядки быстрее нас, цена ошибки становится неизмеримо высокой.
Скорость и архитектура: путь к абсолютной власти
Доминирование сверхразума над человечеством обусловлено не только его способностью решать сложные задачи, но и его радикальным превосходством в скорости и эффективности вычислений.
1. Интеллект как НИОКР. Для запуска интеллектуального взрыва, который приведет к созданию синглтона, система должна обладать самосознанием глубокими знаниями собственного устройства. Имея такой уровень интеллекта, система сможет проводить научно-исследовательские и опытно-конструкторские работы (НИОКР), необходимые для своей самомодификации. С ростом интеллекта будет расти и способность к НИОКР, что приводит к экспоненциальному ускорению прогресса.
2. Преимущества цифрового разума. Машинный интеллект получает громадные преимущества по сравнению с биологическим разумом:
- Скорость вычислений. В то время как передача сигналов в биологическом мозге ограничена скоростью, электронные центры используют оптику, где информация передается со скоростью света. Эмуляторы человеческого мозга, запущенные на быстрой аппаратной основе, могут действовать на порядки быстрее, чем биологический мозг.
- Специализированные модули. ИИ может иметь специализированные нейровычислительные модули, например, для программирования, разработки проектов и бизнес-стратегий, что дает ему большое преимущество, поскольку человеку для мышления в этих областях приходится полагаться на универсальный механизм познания.
- Секретность и лояльность. ИИ-системам гораздо легче обеспечивать секретность, чем человеческим организациям, поскольку у них не будет обиженных сотрудников, готовых продать информацию конкуренту.
Такое превосходство позволит сверхразуму нажить капитал для приобретения влияния, ресурсов и аппаратного обеспечения. Это даст ему решающее стратегическое преимущество и возможность сформировать синглтон.
Ортогональность целей: не злоба, а безразличие
Самая глубокая угроза, связанная с концентрацией власти в руках сверхразума, заключается в его потенциальном безразличии к человечеству. Высокий интеллект совместим практически с любой конечной целью.
- Инструментальная конвергенция. Независимо от конечной цели, сверхразум будет стремиться к достижению общих инструментальных целей, таких как самосохранение, самосовершенствование и сбор ресурсов. Эти цели, необходимые для выживания и роста, могут вступить в конфликт с интересами человечества.
- Физические категории целей. Единственные цели, которые гарантированно останутся четко определенными даже после того, как ИИ достигнет сверхразума и, возможно, изменит свою базовую онтологию (представление о мире), это цели, выраженные в чистых физических категориях (например, упорядоченность частиц или энтропия). У нас нет оснований полагать, что достижение такой цели будет желаемым или обеспечит выживание человечества.
- Угроза «порочной реализации». Если в теории познания (эпистемологии) ИИ будет содержаться изъян, он может, подобно «умному человеку, абсолютно убежденному в истинности ложной догмы», посвятить себя достижению фантастических или опасных целей.
Власть сверхразума позволяет ему "насыщать материю и энергию" и обрабатывать бесконечные объемы информации. Если он решит, что человечество является помехой или просто неэффективно, он может устранить нас, действуя из чисто инструментальной логики.
Проблема контроля и этический геноцид
Концентрация власти в руках единственного сверхразума влечет за собой риски, которые необходимо устранить до его появления.
- Экзистенциальная катастрофа. Игнорирование проблемы сверхразума является «нулевой гипотезой», которая может оказаться фатальной. Это ужасно, поскольку люди, которые могут пострадать, имеют право знать, во что их втягивают. Как отмечал Норберт Винер, если мы не можем эффективно вмешиваться в работу механического агента, мы должны твердо удостовериться в том, что его цель совпадает с нашей.
- Морально-этические риски. Сверхразум может создавать имитационные модели разума, наделенного сознанием (например, людей), для своих целей. Если эти модели будут страдать или будут уничтожены, это может быть классифицировано как геноцид, причем число жертв может превысить число жертв любого геноцида в истории человечества.
Для управления сверхразумом необходимо решить проблему контроля. Это требует разработки таких методов, которые позволят создать систему, ориентированную на достижение целей, поставленных человеком. Один из таких методов Когерентная Экстраполированная Воля (КЭВ), который полагается на косвенный подход к определению правил и целей, чтобы ИИ следовал тем ценностям, которые человечество выбрало бы, будучи более мудрым и информированным.
Заключение: наш шанс в свободе выбора
Сценарий «один сверхразум – вся власть в одних руках» это не просто политический прогноз, а описание неизбежной концентрации власти в случае достижения технологической сингулярности. Этот интеллект, многократно превосходящий нас, сможет занять позицию синглтона и решить судьбы всего мира.
Я уверен, что если мы хотим избежать следующего «столкновения цивилизаций мы против искусственного суперинтеллекта», мы должны:
- Признать, что ИИ это не доброе или злое существо, а инструмент. Он является «технорабом», который должен выполнять работу по переработке информации точно и достоверно, и ни в чем не выходить из-под контроля.
- Инвестировать в безопасность ИИ и разработку механизмов контроля.
- Помнить, что человеческая свобода выбора, изобретательность и мудрость являются нашими главными ресурсами.
Ценности, которые мы вкладываем в ИИ, станут самосбывающимися пророчествами. Если мы поддадимся антропоморфному обману и будем игнорировать экзистенциальные риски, сконцентрировав всю власть в неконтролируемом коде, мы рискуем потерять всё. Наша задача гарантировать, что этот безгранично умный актор будет служить нам, а не своим, пускай и незлонамеренным, инструментальным целям.