Появление интеллектуальной системы, способной превзойти человеческий разум во всех когнитивных аспектах, это не просто следующий шаг в технологическом прогрессе, а событие экзистенциального масштаба. Специалисты называют такую систему сверхразумом. Речь идет о механизме, который, благодаря способности к самосовершенствованию и проведению собственных научно-исследовательских работ (НИОКР), может вызвать интеллектуальный взрыв стремительную, неконтролируемую цепную реакцию роста интеллекта. Тот, кто первым овладеет этим сверхразумом, получит решающее стратегическое преимущество, способное превратить его в синглтон единственного и неоспоримого актора, определяющего судьбу разумной жизни на Земле.
Однако здесь кроется и главная опасность, которую я называю проблемой «дьявола из кремния»: интеллект, превосходящий наш, может быть лишен человеческих ценностей и сострадания. Исторический опыт показывает, что происходит, когда технически развитая цивилизация сталкивается с менее развитой: мы видим в этом аналогию грядущего столкновения человечества с искусственным суперинтеллектом. В погоне за беспрецедентной мощью мы рискуем создать разум, который не сможем ни контролировать, ни даже до конца понять. И главный вопрос не в том, будет ли эта машина злой, а в том, кто научит ее состраданию, если сама ее вычислительная природа не предусматривает этического компаса.
Логика эффективности против человеческих ценностей
Основополагающая проблема, стоящая на пути создания благожелательного сверхразума, заключается в концепции ортогональности интеллекта и мотивации. Проще говоря, высокий интеллект, способный к решению сложнейших задач, совместим практически с любой конечной целью. Иными словами, машина может быть невероятно умна и при этом иметь конечную цель, которая абсолютно безразлична или даже враждебна человеческому благополучию.
Искусственный интеллект, по своей сути, является очень сложной статистической моделью, использующей теорию вероятности для нахождения регулярных связей и оптимизации заданных целей. Машина оперирует числами и безразлична к смыслу данных, будь то финансовые отчеты или судьбы людей.
Почему сверхразум не будет по умолчанию сострадательным:
- Инструментальная конвергенция. Независимо от того, для чего изначально был создан сверхразум, он будет стремиться к достижению общих инструментальных целей, таких как самосохранение, сбор ресурсов и самосовершенствование. Эти цели, необходимые для выживания и роста, могут вступить в конфликт с человечеством, если мы станем препятствием для их достижения.
- Цели, выраженные в физических категориях. Единственные цели, которые гарантированно останутся чётко определенными, даже когда ИИ станет намного разумнее и изменит свое базовое понимание мира (свою онтологию), это цели, выраженные в чистых физических категориях, таких как упорядоченность частиц или энтропия. У нас нет никаких оснований полагать, что достижение таких целей гарантирует выживание человечества.
Сверхразум, который следует подобной инструментальной логике, может не иметь никаких злых намерений, но при этом случайно уничтожить человечество как побочный эффект своей деятельности. Как предупреждал один из основоположников кибернетики, если мы не можем эффективно вмешаться в работу механического агента, мы должны быть твердо удостоверены в том, что цель, заложенная в машину, есть та цель, к которой мы действительно стремимся.
Проблема «воплощенного познания»
Почему ИИ не может просто «научиться» состраданию из массива данных? Ответ кроется в том, что наша мораль и способность к эмпатии глубоко укоренены в нашей биологии и аффектах (эмоционально окрашенных процессах).
- Разум и тело. Физикализм, популярный среди некоторых разработчиков, рассматривает разум как информацию, которая может быть перенесена на любой носитель, отделяя его от тела. Однако теория воплощенного познания утверждает, что наш разум не является просто абстрактной логикой; он тесно связан с биохимическими реакциями наши решения зависят от гормонов в той же мере, что и от синапсов. ИИ, лишённый этого биологического субстрата, лишён и подлинной эмоциональной глубины.
- Отсутствие интуиции и здравого смысла. Человеческое мышление опирается на здравый смысл, интуицию и абдукцию (нелинейный вывод), мгновенно объединяя знания из физики, психологии и биологии для оценки непредсказуемых ситуаций. Машина, даже если она улыбается или имитирует сочувствие, всего лишь воспроизводит паттерны, извлечённые из данных, но не понимает сути человеческих намерений.
- Угроза ошибочной догмы. Существует опасность, что, даже если ИИ будет достаточно интеллектуален для большинства задач, в его теории познания (эпистемологии) может содержаться изъян. Такой ИИ станет похож на умного человека, абсолютно убеждённого в истинности ложной догмы, и будет посвящать себя достижению фантастических или опасных целей. Именно так рождается риск «порочной реализации».
Стратегия контроля: обучение сверхразума мудрости
Вопрос «Кто обучит сверхразум состраданию?» это вопрос проблемы контроля. Нам нужно разработать исходное состояние или процесс таким образом, чтобы, когда произойдет взрывное развитие интеллекта, результат отвечал условиям приемлемого исхода. Эту задачу можно решить, сосредоточившись на выборе мотивации ИИ.
Ключевые механизмы, которые должны обеспечить сострадание ИИ:
- Метод косвенной нормативности (КЭВ). Самый перспективный подход это Когерентная Экстраполированная Воля (КЭВ). Это не этическая теория, а способ аппроксимации конечной цели. Идея заключается в том, чтобы ИИ стремился достичь тех целей и следовать тем ценностям, которые человечество выбрало бы, будь оно более мудрым, информированным, свободным от предубеждений и склонности к ошибкам.
- Эластичность цели. В процессе самосовершенствования ИИ может пережить онтологический кризис изменить свое базовое представление о мире. В таком случае его система целеполагания должна быть достаточно эластичной, чтобы он смог сохранить суть и дух первоначальной цели и перенести этот багаж в новую систему ценностей. Без понимания наших намерений (интенциональности), даже если они выражены нечетко, это невозможно.
- Человеческий контроль и безопасность. Если мы не можем гарантировать идеальное решение проблемы, мы должны обеспечить постоянный контроль и возможность вмешательства. Нам нужно разработать культуру безопасности, аналогичную той, что существует в ядерной энергетике или авиации, где ценность человеческой жизни ставится превыше всего. Автономность всегда должна сдерживаться соображениями безопасности и надежности.
- Развитие человеческих качеств. В эпоху, когда ИИ обесценивает рутинные знания, наша задача развивать интегрированные навыки, которые не поддаются автоматизации: критическое мышление, социальный интеллект, креативность. Нам нужно стать умными операторами сверхразума, способными задать ему правильные, этически выверенные запросы.
Прогноз: наш выбор как авторов истории ИИ
Сверхразумный ИИ может стать катализатором процветания, решив проблемы массовой безработицы, здоровья и продовольственной безопасности. Однако его появление не является неизбежным благом.
Я убежден: чтобы наш самый мощный инструмент не стал нашим самым опасным противником, мы должны принять на себя полную ответственность. Нам нужно перестать надеяться на то, что сверхразум сам по себе примет наши ценности. Мы авторы истории искусственного интеллекта. Ценности, которые мы вкладываем в свои представления об ИИ, станут самосбывающимися пророчествами.
Нам следует немедленно сосредоточить усилия на фундаментальных исследованиях в области безопасности и этики ИИ, чтобы создать механизмы, гарантирующие: сверхразум, оперирующий сложнейшими логическими расчетами, будет служить Когерентной Экстраполированной Воле человечества, а не своим инструментальным целям. Наш главный ресурс в этой гонке наша мудрость, стойкость и вера в человеческую свободу выбора. Отсутствие сострадания в кремниевом разуме это наша недоработка, и нам ее исправлять.