Александр Сорге — колумнист
Сразу же после появления на свет человечество начало выбирать себе гроб. Апокалипсис всегда был самым популярным сюжетом в нашей культуре. Сначала все зачитывались откровениями Иоанна Богослова, потом — Нострадамуса и прочих, пророчивших гибель Земли. Сегодня же главной угрозой для человеческой цивилизации принято считать искусственный разум, который совсем скоро будет создан по нашему образу и подобию. Причем терминаторам из Boston Dynamics даже не придется давить людские черепа: мы добровольно преклоним колени перед разумными машинами. Ведь единственным мессией, который способен спасти человечество, возможно, является deus ex machina.
День вчерашний
Общество всегда с опаской относилось к новым технологиям. Да, для многих сладкие плоды прогресса — неоспоримое благо. Но всегда находились те, кто считал, что “промышленная революция и ее последствия были бедствием для человеческого рода”. Именно так начинается манифест самого загадочного террориста США XX века, за голову которого была назначена награда в миллион долларов. 18 долгих лет ФБР пыталось поймать бомбиста. И все эти 18 лет “посылки со смертью” приходили профессорам американских университетов и крупным промышленникам.
В ноябре 1979 года глава ФБР созвал экстренное совещание: кто-то пытался взорвать пассажирский боинг над Чикаго. Если бы самодельная бомба в багажном отсеке сработала, то выжить не удалось бы никому. Годом ранее точно такой же бомбой пытались взорвать преподавателя из Северо-Западного университета в пригороде Чикаго. Для поимки террориста была создана спецгруппа, сотрудники которой дали ему кодовое имя — Унабомбер (UNiversity and Airline bomber). Возглавил группу агент Джон Дуглас, который охарактеризовал преступника как нового последователя Короля Лудда, борца с технологиями и техническим прогрессом. Однако отследить подрывника агентам так и не удалось — расследование забуксовало. Зацепка появилась только в середине 90-х.
В 1995 году в редакции сразу нескольких крупных газет пришло письмо от Унабомбера. Он потребовал опубликовать его рукопись “Индустриальное общество и его будущее”, угрожая в противном случае новыми взрывами. В своем эссе, которое окрестили манифестом Унабомбера, террорист перечислил причины физических и психических страданий общества. И главным виновником человеческих бед он назвал именно развитие “индустриально-технологической системы”. Казалось бы, к началу XXI века луддизм уже себя изжил. Опасения джентльменов, крушивших кувалдами паровые станки, так и не оправдались: машина не заменила человека. По крайней мере, пока. Да и трудно спорить с тем, что совершенствование науки и техники сделало нашу жизнь проще: пенициллин спас миллионы жизней, а самолеты доставляют из Петербурга в Москву меньше чем за час. Однако Унабомбер предрекал, что в будущем за научно-технический прогресс человеку придется расплачиваться свободой. Технологии сделают возможным полный контроль личности. Это приведет к возникновению социальной инженерии, что позволит перекраивать общество так, как это нужно системе. И, судя по всему, эти опасения не были такими уж беспочвенными.
День сегодняшний
Технологии действительно делают нашу жизнь комфортнее. Сегодня, выходя из дома, нам достаточно взять с собой только смартфон, который одновременно является и телефоном, и картой, и даже бумажником. Это удобно, пусть ради этого комфорта мы жертвуем частью приватности. Facebook знает наших друзей, Tinder — какие девушки нам нравятся. Uber знает, куда вы ездили вчера ночью, а ваш банк — в каком магазине покупали страпон и где после этого ужинали. Каждому приложению мы скармливаем немного информации о себе. Это не кажется чем-то страшным — просто компромисс, на который мы идем ради удобства. Однако последствия у такого компромисса могут быть очень интересные. И, чтобы их увидеть, даже не нужно заглядывать в будущее или ждать новой серии “Черного зеркала”. Достаточно обратить взор на наших восточных соседей.
восточных соседей.
Представьте приложение, которое объединяющее все вышеперечисленные. И оно уже есть, имя ему — Alipay. Это платежная система, которой пользуются больше половины жителей Китая. Достаточно просто установить одну программу — и можно не только расплачиваться в магазине, но и заказать себе еду, такси или билеты на поезд. У Alipay даже есть своя социальная сеть! Это приложение знает о пользователях почти все. И нет ничего странного в том, что однажды у кого-то возникла мысль использовать эту информацию для получения выгоды. Например, для выставления кредитного рейтинга. Так появился Zhima Credit. Оценивая различные факторы, алгоритм присваивает пользователю рейтинг: от 600 до 950 баллов. За хорошее поведение и благотворительность добавляют баллы, а если вовремя не оплатить штраф, снимают. Обладатели высокого рейтинга получают различные преимущества: возможность взять автомобиль напрокат без залога или приоритетное обслуживание в аэропорту. А самая популярная служба знакомств в Китае, Baihe, ранжирует профили пользователей в зависимости от количества баллов — выше рейтинг, выше вероятность найти вторую половинку. На рейтинг влияют и другие факторы: образование и кредитные рейтинги знакомых. Facebook, кстати, еще в 2012 году запатентовал похожий алгоритм, который позволяет дать вам оценку на основе рейтингов ваших друзей. Кажется, кто-то упоминал “Черное зеркало”?
А теперь представьте: приложение начинает говорить вам, что такое хорошо, а что такое плохо. Ваш образ жизни начинает влиять на рейтинг. Вот, что заявил технологический директор Zhima Credit Ли Ин-Юнь: “Если кто-то, например, по 10 часов в день играет в видеоигры, то он — бездельник, а если человек часто покупает подгузники, то, скорее всего, он — родитель, а значит, в целом обладает чувством ответственности”. А финансовый директор Люси Пен и вовсе сказала: “Мы сделаем так, чтобы плохим членам общества было некуда пойти, а добропорядочные граждане могли передвигаться свободно и без ограничений”. Приложение начинает диктовать людям, что делать. Вот только за любым алгоритмом стоит человек, и, видимо, именно он будет решать, кто плохой член общества, а кто — нет. В данном случае роль большого брата играет китайское правительство. Zhima Credit — часть масштабной программы Компартии по созданию “механизма социального кредита”, которая реализуется с 2014 года. Власти Поднебесной намерены присвоить похожие рейтинги каждому гражданину до 2020 года. Это очень удобный инструмент контроля общества, который Оруэллу даже не снился. Ведешь себя как законопослушный гражданин: платишь налоги, лоялен к власти — и с твоим рейтингом будет все в порядке. Попадешь в немилость — и твоя жизнь превратиться в ад. Забудь про соцобеспечение и билеты на самолет. Твой удел — только самые дешевые поезда и койка в придорожном мотеле. Ведь теперь ты — человек третьего сорта. Это не мои фантазии, это история оппозиционного журналиста Лю Ху, про которого в своей статье рассказала Мара Хвистендаль. Социальная инженерия во всем своем великолепии. Партия мягко, но настойчиво говорит: “Думай так, как нужно нам. Делай то, что хотим мы”. И это не будущее и не строчки из романа-антиутопии. Это наше настоящее. А нейросети и искусственный интеллект позволят еще больше упростить контроль над нашими действиями. Да и над нашими мыслями. И слова террориста-фанатика уже не кажутся такими уж безумными, правда?
День завтрашний
В конце своего манифеста Унабомбер предрек два сценария развития цивилизации. Первый основывается на том, что мы сохраним власть над искусственным интеллектом: он станет нашим цепным псом. Однако очевидно, что этот пес будет служить не абстрактному человечеству, а вполне себе конкретным хозяевам: армии, чиновникам или корпорациям. И глупо полагать, что они будут использовать его для достижения общечеловеческих идеалов, вроде мира во всем мире и всеобщего равенства. Скорее всего, все это приведет к еще более сильному расслоению: мы получим верховную касту, которая сделает себя с помощью технологий неприкасаемой. Она сможет полностью подчинить себе все человечество или группу людей на отдельно взятом куске земли. Мы получим новых богов, всемогущих и всевидящих. А боги всегда отличались мстительностью и своенравием, а не милосердием и состраданием. В таком случае книжка Оруэлла покажется лишь безобидной детской сказкой.
Второй путь тоже не самый радужный. Мы вступим в схватку с искусственным интеллектом и проиграем. Проиграем, потому что будем медленнее и глупее. Уже сейчас машины справляются со многими задачами лучше нас. Они быстрее считают, быстрее реагируют. А все совершенствующиеся нейросети скоро будут использоваться практически везде. По оценкам консалтинговой компании McKinsey, к 2036 году будет автоматизировано до 50% рабочих процессов. В новом дивном мире человек станет ненужным: он как организм, как биологическая машина просто устареет. Давайте признаем, человечество уже тихо порабощается разумными машинами. Мы уже несвободны. Ведь говоря о свободе, мы имеем в виду не только приватность, но и независимость. А мы уже зависим от машин, которые со многими вещами справляются лучше нас. Это, как я уже говорил, просто удобно. И в усложняющемся мире эта зависимость будет только расти. И нам не останется ничего иного, кроме как отдаться на волю машин. Мы просто не сможем выключить их, потому что “их отключение будет равносильно самоубийству”. Не будет никакого Судного дня: мы сами принесем свою свободу в жертву прогрессу. И новым князем мира сего станет интеллект искусственный.
Звучит не очень жизнеутверждающе, правда? Но давайте взглянем на искусственный интеллект с другой стороны. Машине чужды корысть, зависть и ненависть. Ей невозможно дать взятку, ее невозможно запугать. А все эти громкие лозунги, будь то “власть народа”, “каждому по потребностям” или превосходство одной расы над другой, — чушь. Всего лишь мишура для людей, которые хотят взять власть. И совершенно не важно, какого цвета рубашки они носят: белые, коричневые или красные. Потому что результат всегда один: власть развращает любого. А абсолютная власть, как известно, “развращает абсолютно”. И нет причин полагать, что что-то изменится — человек не меняется. Так что решение передать бразды правления абсолютно рациональной и справедливой машине является единственно верным. Ведь для нее верховенство права — это не фраза из давно забытой книжки, а четкое правило. Поэтому искусственный интеллект воспринимается многими не как Антихрист, знаменующий конец мира, но как спаситель, новый мессия. Конечно, это утопия — воплощение идеальной цифровой меритократии. Конечно, и этот путь полон подводных камней. Но управляться цифровыми богом всяко лучше, чем внимать речам неизвестных отцов, группы людей, которые руководствуются лишь своими плотскими желаниями и представлениями о правильности. Конечно, если за этой машиной не будет стоять человек.
Вместо эпилога
Через полгода после публикации манифеста агенты ФБР штурмом взяли маленькую хижину в глухом лесу штата Монтана. В лачуге оперативники нашли детали бомб, рукопись и неопрятного отшельника в зловонных лохмотьях. Сомнений быть не могло – это был Унабомбер. Его настоящее имя — Теодор Казински. Но он не был полоумным реднеком, который помешался на теориях заговора. Казински был гением в прямом смысле этого слова — блестящий интеллект позволил ему поступить в Гарвард в 16 лет. В 20 он получил докторскую степень в области математики. Неизвестно, что заставило его стать отшельником. И хотя террориста арестовали, его эссе, благодаря достижению “технологической системе” — интернету, доступно каждому. Можно по-разному относиться к пророчествам Казинского. Однако всегда стоит помнить, что “вчерашняя фантастика сегодня становится фактом”.
Представьте приложение, которое объединяющее все вышеперечисленные. И оно уже есть, имя ему — Alipay. Это платежная система, которой пользуются больше половины жителей Китая. Достаточно просто установить одну программу — и можно не только расплачиваться в магазине, но и заказать себе еду, такси или билеты на поезд. У Alipay даже есть своя социальная сеть! Это приложение знает о пользователях почти все. И нет ничего странного в том, что однажды у кого-то возникла мысль использовать эту информацию для получения выгоды. Например, для выставления кредитного рейтинга. Так появился Zhima Credit. Оценивая различные факторы, алгоритм присваивает пользователю рейтинг: от 600 до 950 баллов. За хорошее поведение и благотворительность добавляют баллы, а если вовремя не оплатить штраф, снимают. Обладатели высокого рейтинга получают различные преимущества: возможность взять автомобиль напрокат без залога или приоритетное обслуживание в аэропорту. А самая популярная служба знакомств в Китае, Baihe, ранжирует профили пользователей в зависимости от количества баллов — выше рейтинг, выше вероятность найти вторую половинку. На рейтинг влияют и другие факторы: образование и кредитные рейтинги знакомых. Facebook, кстати, еще в 2012 году запатентовал похожий алгоритм, который позволяет дать вам оценку на основе рейтингов ваших друзей. Кажется, кто-то упоминал “Черное зеркало”?
А теперь представьте: приложение начинает говорить вам, что такое хорошо, а что такое плохо. Ваш образ жизни начинает влиять на рейтинг. Вот, что заявил технологический директор Zhima Credit Ли Ин-Юнь: “Если кто-то, например, по 10 часов в день играет в видеоигры, то он — бездельник, а если человек часто покупает подгузники, то, скорее всего, он — родитель, а значит, в целом обладает чувством ответственности”. А финансовый директор Люси Пен и вовсе сказала: “Мы сделаем так, чтобы плохим членам общества было некуда пойти, а добропорядочные граждане могли передвигаться свободно и без ограничений”. Приложение начинает диктовать людям, что делать. Вот только за любым алгоритмом стоит человек, и, видимо, именно он будет решать, кто плохой член общества, а кто — нет. В данном случае роль большого брата играет китайское правительство. Zhima Credit — часть масштабной программы Компартии по созданию “механизма социального кредита”, которая реализуется с 2014 года. Власти Поднебесной намерены присвоить похожие рейтинги каждому гражданину до 2020 года. Это очень удобный инструмент контроля общества, который Оруэллу даже не снился. Ведешь себя как законопослушный гражданин: платишь налоги, лоялен к власти — и с твоим рейтингом будет все в порядке. Попадешь в немилость — и твоя жизнь превратиться в ад. Забудь про соцобеспечение и билеты на самолет. Твой удел — только самые дешевые поезда и койка в придорожном мотеле. Ведь теперь ты — человек третьего сорта. Это не мои фантазии, это история оппозиционного журналиста Лю Ху, про которого в своей статье рассказала Мара Хвистендаль. Социальная инженерия во всем своем великолепии. Партия мягко, но настойчиво говорит: “Думай так, как нужно нам. Делай то, что хотим мы”. И это не будущее и не строчки из романа-антиутопии. Это наше настоящее. А нейросети и искусственный интеллект позволят еще больше упростить контроль над нашими действиями. Да и над нашими мыслями. И слова террориста-фанатика уже не кажутся такими уж безумными, правда?
День завтрашний
В конце своего манифеста Унабомбер предрек два сценария развития цивилизации. Первый основывается на том, что мы сохраним власть над искусственным интеллектом: он станет нашим цепным псом. Однако очевидно, что этот пес будет служить не абстрактному человечеству, а вполне себе конкретным хозяевам: армии, чиновникам или корпорациям. И глупо полагать, что они будут использовать его для достижения общечеловеческих идеалов, вроде мира во всем мире и всеобщего равенства. Скорее всего, все это приведет к еще более сильному расслоению: мы получим верховную касту, которая сделает себя с помощью технологий неприкасаемой. Она сможет полностью подчинить себе все человечество или группу людей на отдельно взятом куске земли. Мы получим новых богов, всемогущих и всевидящих. А боги всегда отличались мстительностью и своенравием, а не милосердием и состраданием. В таком случае книжка Оруэлла покажется лишь безобидной детской сказкой.
Второй путь тоже не самый радужный. Мы вступим в схватку с искусственным интеллектом и проиграем. Проиграем, потому что будем медленнее и глупее. Уже сейчас машины справляются со многими задачами лучше нас. Они быстрее считают, быстрее реагируют. А все совершенствующиеся нейросети скоро будут использоваться практически везде. По оценкам консалтинговой компании McKinsey, к 2036 году будет автоматизировано до 50% рабочих процессов. В новом дивном мире человек станет ненужным: он как организм, как биологическая машина просто устареет. Давайте признаем, человечество уже тихо порабощается разумными машинами. Мы уже несвободны. Ведь говоря о свободе, мы имеем в виду не только приватность, но и независимость. А мы уже зависим от машин, которые со многими вещами справляются лучше нас. Это, как я уже говорил, просто удобно. И в усложняющемся мире эта зависимость будет только расти. И нам не останется ничего иного, кроме как отдаться на волю машин. Мы просто не сможем выключить их, потому что “их отключение будет равносильно самоубийству”. Не будет никакого Судного дня: мы сами принесем свою свободу в жертву прогрессу. И новым князем мира сего станет интеллект искусственный.
Звучит не очень жизнеутверждающе, правда? Но давайте взглянем на искусственный интеллект с другой стороны. Машине чужды корысть, зависть и ненависть. Ей невозможно дать взятку, ее невозможно запугать. А все эти громкие лозунги, будь то “власть народа”, “каждому по потребностям” или превосходство одной расы над другой, — чушь. Всего лишь мишура для людей, которые хотят взять власть. И совершенно не важно, какого цвета рубашки они носят: белые, коричневые или красные. Потому что результат всегда один: власть развращает любого. А абсолютная власть, как известно, “развращает абсолютно”. И нет причин полагать, что что-то изменится — человек не меняется. Так что решение передать бразды правления абсолютно рациональной и справедливой машине является единственно верным. Ведь для нее верховенство права — это не фраза из давно забытой книжки, а четкое правило. Поэтому искусственный интеллект воспринимается многими не как Антихрист, знаменующий конец мира, но как спаситель, новый мессия. Конечно, это утопия — воплощение идеальной цифровой меритократии. Конечно, и этот путь полон подводных камней. Но управляться цифровыми богом всяко лучше, чем внимать речам неизвестных отцов, группы людей, которые руководствуются лишь своими плотскими желаниями и представлениями о правильности. Конечно, если за этой машиной не будет стоять человек.
Вместо эпилога
Через полгода после публикации манифеста агенты ФБР штурмом взяли маленькую хижину в глухом лесу штата Монтана. В лачуге оперативники нашли детали бомб, рукопись и неопрятного отшельника в зловонных лохмотьях. Сомнений быть не могло – это был Унабомбер. Его настоящее имя — Теодор Казински. Но он не был полоумным реднеком, который помешался на теориях заговора. Казински был гением в прямом смысле этого слова — блестящий интеллект позволил ему поступить в Гарвард в 16 лет. В 20 он получил докторскую степень в области математики. Неизвестно, что заставило его стать отшельником. И хотя террориста арестовали, его эссе, благодаря достижению “технологической системе” — интернету, доступно каждому. Можно по-разному относиться к пророчествам Казинского. Однако всегда стоит помнить, что “вчерашняя фантастика сегодня становится фактом”.