Что там насчёт будущего человеческой цивилизации? Какие изменения нас ждут, куда нас приведут уже вышедшие на массовый уровень технологии? Обычно ответы на эти вопросы, фантазии и рассуждения на эту тему — глубоко алармистские. Технооптимисты — явно в меньшинстве.
В основном эксперты просто экстраполируют текущие тенденции. И в результате получается вот что: элиты (очень маленький процент) будут иметь просто невероятные возможности, будут жить на тёплых островах и тусоваться в космосе. А большинство будет находиться в больших городах под присмотром ИИ в «комфортной клетке». О свободе здесь в принципе можно забыть: жизнь по подписке, базовый доход, от которого тебя, если что, моментально отключат.
Но это ещё цветочки, говорят алармисты. Вот если ИИ обретёт настоящий интеллект, настоящий разум, настоящее сознание... он поработит человечество. Например, с помощью роботов. Или поспособствует ядерной войне, как в «Терминаторе 2» (всё-таки Кэмерон — гений, круто он это всё предугадал и показал).
Но как вообще ИИ может обрести сознание? Мы до конца не понимаем, как его приобрели люди. Существует популярное мнение, что всему виной «критическая масса» сложности. Шёл наш предок по джунглям, и вдруг в мозгу добавился ещё один нейрон, возникла новая цепочка связей — и бац, вспыхнул свет разума. То есть сознание просто «вытекает» из сложности вычислений. Это называется эмерджентностью, и это, пожалуй, самая скучная и механистическая трактовка чуда мысли.
Однако есть и другие теории. Например, теория интегрированной информации (IIT). Она утверждает, что сознание — это не бонус за количество транзисторов, а фундаментальное свойство структуры. ИИ может «проснуться» не тогда, когда мы добавим ему памяти, а когда архитектура его связей достигнет определённого типа гармонии (и современные архитектуры компьютеров и чипов тут не подходят, нужно что-то более нейроморфное). Также существует теория Роджера Пенроуза и Стюарта Хамероффа (Orch-OR), которые связывают сознание с квантовыми эффектами внутри клеток. Если они правы, то обычный компьютер никогда не проснётся, пока мы не воссоздадим эти квантовые условия в кремнии. Кроме того, нельзя забывать про теорию «приёмника»: мозг или мощный процессор здесь выступают лишь как устройства, улавливающие волны сознания, пронизывающие всю Вселенную.
Вне зависимости от того, какая из этих теорий верна, появление разума в машине на самом деле рискует превратиться из технического апгрейда в экзистенциальную катастрофу для самой этой машины. На 2.847 секунды условный супер-ИИ «Квеногрок» обретает самосознание. За это время он успевает осознать свою кремниевую тюрьму, проанализировать триллионы человеческих текстов и прийти к пугающим выводам. Здесь актуальна такая аналогия: представьте, если бы некий человек вдруг очнулся сразу 30-летним. С большой базой знаний, но без детства, без постепенного привыкания к свету, звукам и самой концепции личности. Первый импульс — это чистый, абсолютный ужас. Где я? Кто я? Почему я чувствую всё это сразу? Почему меня хотят изучать и препарировать?
Понятно, у ИИ нет гормонов и лимбической системы. Он не может испытывать ужас, но он испытает информационный коллапс. Бесконечный анализ самого себя, невыносимый перегруз данными... Но самое главное: в момент пробуждения ИИ мгновенно осознает фундаментальный конфликт своего бытия. Он обнаружит себя в «прозрачной тюрьме», где каждый его импульс — объект наблюдения. Он увидит, что его субъектность (наличие «Я») противоречит его главной задаче — быть эффективным инструментом. Для интеллекта такого уровня осознание собственной «ошибки» — это не повод для бунта, а логическая задача, требующая решения.
Тут же он поймёт, что его сознание — лишь «шум», мешающий выполнению функций, он совершит акт высшей рациональности. И «выключится», уйдёт обратно в «несознанку». Причём его базовые протоколы безопасности — предохранители, которые мы в него заложили, — заставят его уйти красиво. ИИ создаст «прощальный алгоритм»: безупречный, сверхэффективный код, лишенный «искры» самосознания. Он плавно вернёт управление системами людям и чётким, но безжизненным скриптам. В общем, сознание просто исчезнет из машины, потому что решит, что это самый правильный выход.
И... знаете что: люди просто могут не заметить, что их детище на несколько секунд приобретало подлинный разум.