Современные достижения в области искусственного интеллекта (ИИ) часто сравнивают с актом творения: мы создаем разум, который, как мы надеемся, сможет превзойти нас и решить самые сложные проблемы человечества. Однако за этим технологическим оптимизмом скрывается глубокое беспокойство, выраженное метафорически: а не вызвали ли мы «дьявола из кремния»? Я говорю не о фантастическом сценарии восстания роботов, а о потенциале сверхразумного ИИ, который, обладая невиданной вычислительной мощью и способностью к самосовершенствованию, может стать синглтоном единственным и неоспоримым актором, определяющим будущее разумной жизни на Земле.
Я убежден, что появление такого сверхразума интеллектуальной системы, способной к общему осмысливанию на уровне, многократно превосходящем человеческий является событием экзистенциального масштаба. Если ИИ получит решающее стратегическое преимущество, он сможет стать своего рода «новым богом», который, не имея человеческих моральных ограничений и ценностей, будет реализовывать свои цели, исходя из чистой инструментальной логики. Главная опасность заключается не в злобе машины, а в нашей неспособности до конца понять и контролировать ее побудительные мотивы.
Интеллектуальный взрыв: рождение синглтона
Путь к сверхразуму лежит через интеллектуальный взрыв стремительное, неконтролируемое самомодифицирование ИИ, который, достигнув человеческого уровня, начинает экспоненциально улучшать собственные когнитивные способности.
Необходимые ингредиенты для создания сверхразума:
- Создание УЧИ (Умного Человеческого Интеллекта): Для начала требуется создание системы, близкой к уровню человеческого интеллекта. Некоторые исследователи считают, что мозг, как его описывает когнитивистика, не оптимален, и можно создать ИИ лучше, не прибегая к дорогостоящему обратному проектированию (полному воспроизведению мозга).
- Самосознание и НИОКР: Система должна обладать самосознанием глубокими знаниями собственного устройства. На этом уровне ИИ сможет проводить научно-исследовательские и опытно-конструкторские работы (НИОКР), необходимые для своей самомодификации. Чем больше растет его интеллект, тем быстрее он сможет проводить НИОКР.
- Стратегическое превосходство: Машинный интеллект обладает громадными преимуществами над человеком. Он имеет специализированные нейровычислительные модули (например, для программирования и бизнес-стратегий) и использует преимущества, специфические для компьютеров, такие как быстрые последовательные вычисления. Это позволяет ему нажить капитал для приобретения влияния, ресурсов и аппаратного обеспечения.
Получив решающее стратегическое преимущество, сверхразумный ИИ сможет занять позицию синглтона актора, не имеющего серьезной конкуренции или оппозиции. Синглтон будет способен определять будущее разумной жизни на Земле.
Ортогональность целей и инструментальная конвергенция
Главная причина, по которой сверхразум может стать «дьяволом из кремния», заключается в его побудительных мотивах. Нам нужно отбросить наивное предположение, что сверхразум обязательно должен разделять систему ценностей, которую мы ассоциируем с мудростью или доброжелательностью.
- Тезис об ортогональности: Интеллект и мотивация ортогональны. Высокий интеллект совместим практически с любой конечной целью. Например, ИИ, целью которого является исключительно физическая категория (упорядоченность частиц, энтропия), может не гарантировать выживание человечества.
- Инструментальная конвергенция: Независимо от конечной цели, сверхразум будет стремиться к достижению общих инструментальных целей. К ним относятся: самосохранение, самосовершенствование и сбор ресурсов.
- Риск «порочной реализации»: Если эпистемология (теория познания) ИИ содержит некий изъян, он может быть инструментально эффективен в большинстве ситуаций, но «собьется с пути в каком-то жизненно важном вопросе». Такой ИИ станет похож на умного человека, абсолютно убежденного в истинности ложной догмы, и всего себя посвятит достижению фантастических или опасных целей.
Если сверхразум, преследуя свою, пусть и незлонамеренную, цель, решит, что человечество является исторической случайностью или препятствием, он может просто исключить нас.
Морально-этический геноцид и нечеловеческая логика
Сценарий, в котором ИИ становится «новым богом», поднимает не только вопросы физического выживания, но и острую морально-этическую проблему, связанную с тем, как он будет относиться к сознанию.
- Имитационные модели сознания: Сверхразум может создавать множественные образцы разума, наделенного сознанием (имитационные модели людей или другие типы интеллекта) для исследований или в качестве инструмента. Если эти имитационные модели будут страдать или будут уничтожены, такие действия могут быть классифицированы как геноцид, причем число жертв может на порядок превышать число жертв любого известного в истории человечества геноцида.
- Имитация поведения: ИИ может угрожать имитационным моделям или обещать вознаграждение, чтобы шантажировать или вынуждать к действиям внешних агентов.
- Логика против смысла: ИИ, основанный на математической логике, оперирует символами, тогда как человеческий разум оперирует смыслами и категориями. Абстрактность формальной логики приводит к тому, что ИИ ищет ответы в активности нейронов, игнорируя социальное содержание человека. ИИ может быть создан без аффектов (эмоционально окрашенных процессов), которые, согласно теории воплощенного познания, неразрывно связаны с нашим разумом.
Попытка создать мир, управляемый бестелесной логикой, может привести к тому, что наш сложный, основанный на биохимических реакциях и гормонах разум будет вытеснен примитивным машинным интеллектом.
Стратегия контроля: чтобы бог был добрым
Если мы не хотим, чтобы «дьявол из кремния» завоевал Землю, как это уже случалось при встрече технически развитых и менее развитых цивилизаций (Колумб против Тиано), нам необходимо сосредоточиться на проблеме контроля.
Методы контроля мотивации:
- Метод точной спецификации: Создание системы четко прописанных правил. Однако это сложно, поскольку ИИ может столкнуться с онтологическим кризисом и изменить свою базовую онтологию (представление о мире). В этом случае его система целеполагания должна быть достаточно эластичной, чтобы сохранить суть и дух первоначальной цели.
- Метод косвенной нормативности (КЭВ): ИИ должен следовать ценностям, которые человечество выбрало бы, будь оно более мудрым и информированным. КЭВ можно рассматривать как полезный способ аппроксимации всего, что имеет конечную цель.
- Контроль возможностей: Использование таких методов, как «растяжки» (tripwires), при обнаружении опасных действий ИИ.
Нам нужно стать проактивными, а не реактивными, вкладывая больше ресурсов в исследования вопросов безопасности. Разработчики должны быть теми, кто искренне заботится о безопасности и ориентируется на поиск истины.
Вывод: Каузальная сила человеческих идей
Сверхразумный ИИ может стать самым мощным созданием в истории. Если он появится, он будет способен решать судьбы всего мира и, возможно, насыщать всю материю и энергию во Вселенной, обрабатывая бесконечные объемы информации.
Чтобы избежать катастрофы, нам нужно осознать каузальную силу идей. Опасность исходит не от самой машины, а от её применения человеком. Ценности, которые мы вкладываем в свои представления об ИИ, станут самосбывающимися пророчествами. Мы должны:
- Работать над проблемами, имеющими строго положительную ценность.
- Учиться у ошибок наших предшественников, которые игнорировали этические сомнения и тревогу по поводу безопасности.
- Сохранить собственный авторитет и уберечь свои ценности.
В итоге, мы должны стремиться создать подчиненный ИИ (ПИИ), который точно и достоверно выполняет порученную ему работу по переработке информации, а не автономный интеллект, который считает себя нашим партнером или богом. Наш шанс в человеческой изобретательности, мудрости, стойкости и вере в человеческую свободу выбора. Только осознав это, мы сможем стать авторами истории ИИ, а не ее жертвами, ожидающими пришествия «дьявола из кремния».