Эссе 1
Я смерть, я разрушитель миров (цитата из Бхагавадгиты)
- Роберт Опенгеймер
К написанию этого эссе меня подтолкнуло прочтение ряда книг. Прежде всего, несколько допущений. 1) Я никоим образом не претендую на оригинальность, это все лишь краткое изложение вопросов, в соответствии с той моделью реальности, которая у меня есть, и на которые я не имею ответа. 2) Конечно, это в любом случае только модель (правильная или неправильная), и это домыслы обывателя далекого от фундаментальных наук, что-то и где-то нахватавшегося и, может быть, до конца что-то не понявшего. Да и сами теории, на которые я ссылаюсь, могут устаревать, менять интерпретацию или заменяться другими. 3) Все выводы, звучащие в этом эссе, написаны в утвердительном наклонении лишь потому, что трудно постоянно писать в вопросительном и сослагательном. Поэтому сами поставьте в конце этого эссе одну большую частицу «ЛИ???». 4) ЗАЧЕМ? Просто хочется «разобраться», если это возможно…:) )
Прежде всего, спасибо Ювалю Харари – он заставил меня думать, оглядываясь на историю. Желание понять историю инноваций привело меня Йозефу Шумпетеру и Фридриху Хайеку и подтвердило известное утверждение, что «все новое – это хорошо забытое старое». Эндрю Макафи привел меня к археологу и историку Иэну Моррису, а потом путями неисповедимыми я пришел к Джареду Даймонду. Даймонд делает вывод, что различия в уровне развития тех или иных обществ и цивилизаций первоначально были связаны с географическими причинами – почвы, температурные режимы, реки, сухопутные или морские пути – активирующими те или иные виды деятельности, которые способствовали развитию тех или иных технологий, а также навыков людей.
То есть навыки и технологии всегда «шли» рядом. Навыки и способности приводили к созданию технологий, а технологии развивали навыки и способности (я имею ввиду приобретенные способности, которые передаются из поколения в поколение в процессе обучения «старшим» поколением младшему). Эти процессы содействовали сохранению популяций, их выживанию, и чем больше была изолирована та или иная популяция и ограничена в численности, тем сильнее социально, экономически и технологически она отставала…. Более «сильные» поглощали или уничтожали более «слабых». Даймонд говорит о том, что нет никаких оснований, предполагать, что существует биологическая и генетическая обусловленность неравенства (приводя в пример аборигенов Новой Гвинеи, которые быстро осваивают технологии при знакомстве с ними). Согласно теории эволюции видов, СЛУЧАЙНЫЕ мутации закрепляются наследственно в процессе развития и сохранения популяции, которая обладает признаками, обеспечивающими ее наибольшую приспособленность к окружающей среде. То есть, мы имеем два процесса, которые не связаны прямо – биологический эволюционный процесс (закон сохранения видов Дарвина) и процесс передачи навыков, знаний и технологического развития, технологической эволюции.
В одной из глав книги Морриса я увидел график изменения индекса социального развития общества, определяющего способность группы управлять своей физической и интеллектуальной средой, чтобы добиваться результатов: запасы энергии (калории на человека), организация (концентрация населения), способность ведения боевых действий (численность войска, мощность вооружений) и информационные технологии. На этом графике переломный момент социального развития западного общества (экспоненциальный скачок) наступил между 1765 и 1776 гг. в связи изобретением парового двигателя Уаттом, многократно увеличившего «энергетическую» мощность человеческого общества. Эта экспонента сегодня уже привычна для нас в контексте «разрушительных инноваций» (К. Кристенсен), и эта экспонента, по прогнозам Рея Курцвейла, должна привести нас в 2045 году к технологической сигулярности (периоду всеобщего благоденствия, когда AI начнет воспроизводить сам себя) :)
Вполне очевидно, что с высоты нашего времени изобретение Уатта и его последствия смотрятся сейчас как очередная ступенька в эволюции человечества, но тогда, наверное, можно было говорить о «паровой» сингулярности. :) Таких ступенек, технологических, инновационных циклов, укладов (см. работы Кондратьева, Шумпетера etc.) в нашей истории уже >= 6. Книги историков и экономистов, имеющих интегральный взгляд на наше прошлое и настоящее, подтолкнули меня к следующим размышлениям и выводам.
По мере эволюции человека и общества, кроме экономических факторов (концентрации рабочей силы, средств производства, степени разделения труда и пр.) постоянно увеличивалась степень нашей «связности» и скорости обмена информацией и знаниями (миграция наших предков из Африки, концентрация популяций, централизация управления и урбанизация, приручение лошадей, мореплавание, глобализация наконец). Интенсификация обмена информацией, естественно, приводило к увеличению объема знаний, доступных индивидууму или группе лиц.
Экономическая конкуренция требовала снижения издержек, толкала к инновациям и тем самым к дальнейшему технологическому прогрессу, который снова обеспечивал ускорение способности в обмене информацией и увеличения объема знаний. Как говорят нейрофизиологи, информация переносится в мозге в долговременную память двумя путями: либо подкреплением (повторением), либо эмоциональным анализатором, поскольку «эмоционально» – значит важно. В эпоху интернета концентрация знаний и обмена ими достигла «световых» скоростей (это не только метафора), устранила информационные барьеры, но при этом увеличила экономическое и социальное расслоение общества, привела к технологическому взрыву и продолжает увеличиваться.
Главной проблемой для нас сейчас стала не проблема в получении той или иной информации, а ее «отсеивание» в непрерывном потоке, даже появилась аббревиатура FOMO (the fear of missing out) – страх что-то пропустить, страх упущенной «выгоды». То есть технологическая эволюция «обогнала» эволюцию биологическую, скорость поступления информации и появления новых технологических инструментов начинает превосходить способность обработки и усвоения информации человеком и приобретения им необходимых навыков.
Концепция long life learning – необходимость постоянного обучения в течение всей жизни, казалось бы, должна положительно отразится на интеллектуальных способностях вида. Количество нейронных связей должно возрастать, но тут появляется AI, который забирает на себя часть интеллектуальных функций, а дальше «все просто» – как атрофируются неиспользуемые мышцы, также «атрофируются» интеллектуальные способности, сначала «приобретенный» интеллект, а потом и «врожденный», как результат естественного отбора. Пока мы усиливали возможности в области физической силы, энергетические возможности, все было хорошо. Да, были луддиты, были группы, которые пострадали от технологического прогресса, исчезали профессии, появлялись новые, но в целом цивилизация развивалась, пока мы не замахивались на личностные интеллектуальные способности человека. Мы с гордостью говорили, что количество тяжелого физического труда уменьшилось, а недостаток физических нагрузок мы «добирали» в спортивных упражнениях, и когда мы изобрели «просто» вычислительные машины их «вычислительные способности» не вызывали беспокойства, поскольку на мозге лежало выполнение массы других задач, но с появлением AI все поменялось (кстати, то же относится и к экзоскелетам, которые пока являются экзотикой).
Ситуация с «цифрой» не является аналогом ситуации с луддитами, поскольку касается не только отдельной группы и затрагивает не только сферу производственной деятельности. Она глобальна и затрагивает все сферы социальной жизни, вернее, если исходить из определения Аристотеля, что человек – это «социальное животное», то «цифра» влияет на обе составляющие. Мы не можем выделить отдельную группу «зависимых», сесть в круг и сказать «мы цифроголики». Когда «все» мы, включая лидеров всех государств говорят, что «цифра» и AI – вопрос нашего выживания, мнение отдельных «маргиналов» о том, что это на самом деле процесс вымирания сопровождается хором «все будет хорошо, мы уже это проходили», исчезнут старые профессии, появятся новые.
Речь идет не о профессиях, а о всем социуме. Мы не будем ломать гаджеты и прочие дары прогресса, поскольку они стали или становятся частью нашей социальной жизни, наше социальное общение становится благодаря им суррогатным, они превращают нас (вспомните известный фильм) в суррогатов, хотя у реальности может быть менее счастливый конец. Я не сторонник конспирологических теорий, но технологии, в силу их вездесущности, упрощают контроль и управление нами, конечно же, для нашей пользы.:) Молодежный «шуттинг» (расстрелы) стали уже стали печальной реальностью, поскольку виртуальные стрелялки снизили социально-эмоциональную оценку этого действия. Один из предлагаемых вариантов реагирования – усиление контроля в соцсетях. Во благо? Несомненно! (без смайлика).
Биологические мутации, приведшие к образованию речевого аппарата и созданию «языков», а потом и письменности как средств информационного взаимодействия и координации в группах для достижения совместных целей, и дали тот скачок в развитии человечества, плоды которого мы сейчас пожинаем. При этом биологи утверждают: после появления среди гоминидов подвидов рода «люди» в ходе дальнейшей эволюции были флуктуации в размере человеческого мозга, коррелирующие с изменением климатических условий (оледенение/потепление), но около 10 тыс. лет назад (начало потепления?) объем человеческого мозга в среднем только уменьшался. Мы знаем, что размер черепа человека эволюционно обусловлен проходимостью женских родовых путей, а объем «серого» вещества и его интеллектуальный потенциал связан (не прямо) с площадью поверхности коры головного мозга, ее «сморщенностью». Потенциал сети (в т.ч. и нейронной) обусловлен не только количеством узлов, но и количеством связей между узлами, и хотя по мере взросления человек (в возрасте 10-20 лет) теряет 15% объема мозга, тем не менее, работы по пластичности мозга говорят, что с возрастом мозг сохраняет свою способность к обучению и образованию новых нейронных связей, если… человек продолжает обучение и развитие своих интеллектуальных и физических возможностей. Здесь мы можем применить (метафорически) второй закон термодинамики, гласящий, что энтропия (мера хаоса) любой замкнутой системы увеличивается со временем, если не совершать определенную работу, сохраняющую это состояние.
Эволюция безжалостно отбрасывает все, что не обеспечивает выживание популяции, а иногда и саму популяцию. И при дальнейшем развитии возможностей AI (ИИ – искусственный интеллект) мы можем получить эффект «сообщающихся сосудов». Это парадоксальный процесс, при котором, все более увеличивая наши «искусственные» возможности, мы ослабляем наши естественные способности и наступает момент, когда мы становимся полностью зависимы от искусственной жизни, «жизни 3.0», как называет ее Макс Тегмарк. С моей (и не только) точки зрения, термин «искусственный интеллект» – самое дурацкое название, которое можно придумать. Этот термин искажает в умах слышащих методы, которыми ИИ достигает результата, но это никоим образом не отражается на целях, достигаемых AI. Аборигены, впервые видящие самолет, называют его «железной птицей», хотя самолет с птицей никак не связаны (кроме законов физики). Конечно, это вопрос зависимости от искусственной жизни – это не вопрос ближайшего десятилетия, поскольку пока мы имеем дело со «специализированным» AI, и весь прогресс в этой области пока связан с законом Мура – экспоненциальным увеличением мощности процессоров, объемов хранимой информации и, главное, снижением их стоимости. Но если достижения в области кремниевого AI соединятся с биологией и биоинформатикой, то последствия предсказуемы...
Наши навыки, а следовательно, потребность в большинстве из нас просто «отомрут». Результаты исследований (на примере индейцев Амазонии) говорят, что то, как мы воспринимаем и описываем цвета, в значительной степени определяется историей развития нашей культуры, а не только биологией, как полагали ранее многие ученые, т.е. в том числе набором компетенций, навыков, умений и знаний, требуемых для выживания в конкретной среде, т.е. наших адаптационных возможностей. Также можно привести в пример «ориентационные» способности народов крайнего Севера (снег и лед являются важнейшими факторами среды обитания эскимосов, этот народ выделяет до 200 видов этого агрегатного состояния воды и для каждого имеет особое слово). Мы «видим» или «не видим» то, что является «важным» или «неважным» для нас с точки зрения выживания, и более того, чему присвоен «языковый маркер» в нашем понятийном наборе.
Мы теряем ряд навыков уже сейчас, таких как умение считать, ориентироваться в пространстве – пока на уровне групп и поколений. Не исключаю, что в будущем, в процессе внедрения нейроинтерфейсов, мы потеряем сначала навык, а потом и возможность говорить, т.к. при случайной мутации для нас они станут незначимы с точки зрения выживания в условиях будущей среды. Ограничение в Твиттере в 140 символов уже влияет на способность молодого поколения излагать свои мысли. Поскольку AI основан на установлении корреляций, а не причинно-следственных связей (мы уже имеем кейсы, когда AI связывал расу и количество преступлений, не вдаваясь в причины такой корреляции), как это отразится индуктивной логике нашего мозга? НО в силу тех или иных причин (природного или техногенного) характера все может быстро измениться и нам понадобятся старые навыки. Даймонд в интервью с Харари, говорит, что в этой ситуации более приспособленными будут аборигены Новой Гвинеи, а не представители технологически более развитого общества.
Сейчас это происходит локально, на уровне вида это произойдет значительно позже, если, конечно, наш вид сохранится. Если ранее у нас была отговорка, что окончательное решение в рамках тех или иных процессов всё равно остается за человеком, т. е. человек включен в контур принятия решений, то сейчас в многих областях скорость поступления и объем информации, а также необходимость принятия решений в секундном или миллисекундном масштабе исключает участие человека в этом процессе (многие скажут: ну и хорошо). Если раньше по мере развития средств производства «ненужные» работники уходили из сельской местности в город, на производство, а потом на другом этапе, по мере автоматизации производства, из производства в сферу обслуживания, то сейчас куда? В сиделки, в патронажные сестры и личные психологи? Потребность в этих профессиях (там, где требуется эмоциональный контакт) ограничена. Применение современных технологий требует (пока) своего интеллекта, но мы же отдаем отчет, что в отличие от предыдущих периодов, в силу ряда причин, в том числе экономического характера, не все потерявшие работу смогут стать программистами и дата-сайентистами (кстати, профессии, которые тоже заменит AI).
Пока уже заметна потеря навыков, а что мы приобретаем? Оставаясь социальными животными, мы стараемся получить социальное вознаграждение, превращаясь в собаку Павлова в соцсетях (читайте Дж. Ланье), получающей дозу дофамина и серотонина в обмен на пост, таким образом стимулируя развитие нашего лимбического мозга, который образовался в процессе эволюции задолго до неокортекса. Социальные сети превращают наше социальное общение, к которому мы эволюционно приспособлены, в суррогат, только усиливающий социально разобщение, «удаляя» из нашего мозга навыки и потребности тактильного контакта и эмоциональную эмпатию, усиливая худшие проявления эффекта «стада», меняющего поведение человека.
Вольтер говорил, что работа избавляет нас от трех зол – скуки, порока и нужды. Судя по всему, технологии, отбирающие у нас работу, нам это зло вернут, и никакой базовый доход здесь не поможет, поскольку мы потеряем осознание ценности и саму нашу ценность для общества. Многие технооптимисты сразу возразят – у нас появятся новые навыки и новые профессии. Да, на первом этапе «технологической недоразвитости» появятся, а дальше способен ли будет наш мозг принимать необходимые решения, будет ли в этом необходимость, с учетом объема и скорости поступления информации, той эффективности и стоимости, которые будет обеспечивать сеть AI. Есть ощущение того, что мы превратимся в биологический аналог «томагочи» (если кто помнит, что это такое) – «сущность» которую надо покормить, позволить справить свои естественные потребности и т.д. Так и до «Матрицы» недалеко. А ЗАЧЕМ? для КОГО? Искусственного интеллекта или узкой группы лиц, всё еще его контролирующего?
Сейчас много дискуссий об этике в AI, но этика пока человеческая прерогатива (этика для меня эквивалентна категориям «мораль» и «нравственность», а если говорить технократично – категориям, которые обеспечивают гомеостаз человеческой популяции). Вопрос морально-этической эволюции общества не менее важен для нас, чем вопрос биологической. Попытки превратить человека в машиноподобное существо начались еще со времен изобретения часового механизма («механический человек»). Со временем появилась модель «человек (мозг)-компьютер», а с возникновением интернета – метафора «мозг=нейронная сеть=интернет», где нейроны – это сервера, а связи гиперссылки. Такой редукционистский подход объясним и обусловлен невозможностью восприятия реальной сложности и естественным желанием упростить модель. Мне нравится высказывание Уильяма Блэйка: «Если бы двери восприятия были чисты, все предстало бы человеку таким, как оно есть – бесконечным». Наше восприятие есть плод специфики нашей культуры и особенностей работы мозга (который пытается понять сам себя ;) ) и, переходя к моделям, мы «выплескиваем с водой ребенка», сводя сознание человека к набору дискретных вычислительных процессов, фигурально отделяя мозг от тела со всеми его гормональными, кровеносными и пр. «аналоговыми» системами, предполагая, что эмоции являются тоже вычислительным дискретным процессом, а главное, отделяя его от норм и правил общества, от контекста. (Кстати, компьютерная модель никак не учитывает наличие глиальных клеток, им нет аналогов в компьютере, а значит, их не существует :) ).
В терминах христианской традиции, с тех пор как Адам сорвал плод с древа познания добра и зла, главный грех человека «гордыня» прямо или косвенно способствует технологическому продвижению вперед нашей цивилизации, но способствует ли он морально-этическому развитию? С этикой всё неоднозначно. Синайский кодекс письменно зафиксировал основные моральные принципы для людей в IV веке, три принципа робототехники Айзек Айзимов сформулировал только в 1942 году, а асиломарские принципы AI появились только в 2017-м. Не помню кому принадлежит высказывание, что морально то, что не приносит страдания другому человеку, а как говорит писатель, автор «Нейроманта» Ульям Гибсон, «технологии остаются нейтральными до тех пор, пока мы не применяем их». Технологии эволюционируют быстро, а человеческая сущность не меняется вообще – наверное, это жесткое утверждение, но имеющее под собой основание. Как говорят трейдеры, «рынком движет страх и жадность», и опыт экономических кризисов прошлых лет наглядно подтверждает это. И хотя мы ушли от глобальных войн и конфликтов за сферы влияния, ресурсы и возможности, мы все равно следуем геополитике, исходя из интересов отдельных групп лиц и наций, но не человечества в целом (хотя политиками делаются прямо противоположные заявления), перейдя к перманентным локальным войнам и конфликтам с множеством стейкхолдеров. Быть «этичным» в этой человеческой мясорубке может означать для вас очень неблагоприятный исход.
Кто-то должен стать «этичным» первым или все сразу? Ядерное сдерживание сыграло свою роль, и перспектива возможности уничтожить «все и вся» позволяет пока человечеству жить. Но тогда создание таких технологий требовало колоссальных финансовых и энергетических ресурсов и находилось в руках государств, про «ядерные» проекты знал исключительно узкий круг допущенных лиц. В эпоху «открытых» инноваций знание нельзя «закупорить» и применение информационных технологий не требует значительных ресурсов. Варианты, в которых управление будет передано AI, поскольку для принятия решения требуются секунды, и AI «допустит ошибку» существуют (пусть даже с очень малой вероятностью этого). Как сказал американский специалист по AI Элизер Юдковский, сегодня самая большая опасность, связанная с искусственным интеллектом, в том, что люди слишком рано начинают верить, что они его понимают. Темы кибервойн уже стали настолько обыденными, что не хочется даже останавливаться на этом. Мы решили «научить» AI этике, не будучи этичными сами. А этично ли решение меньшинства о судьбе большинства, в данном случае я имею ввиду решение о внедрении той или иной технологии? По натуре я, наверное, либертарианец (ругательное слово), но то , что я вижу в реальности, а это то, что система «отрицательной обратной связи», как говорят технари, скрытая в демократии, уже не срабатывает из-за скорости изменений происходящих в обществе и расширения технологических возможностей для манипуляции общественным мнением (нельзя же все вопросы выносить на референдум, конечно, можно реализовать его на блокчейне в реальном масштабе времени, но у вас есть гарантия, что эта технология не работает в интересах какой-то группы лиц? :) .
Если кто-то знаком с такой моделью управления, как Cynefin Framework, тот знает, что agile-управление работает в верхнем левом квадранте, квадранте сложных комплексных систем, где управление строится по принципу «пробуй-корректируй». А следующий квадрант в этой модели – это «квадрант хаоса», где работают только жестко централизованные методы управления, возвращающие «систему» как минимум к предыдущему квадранту. Что предпочтете вы и что сделаете вы, чтобы не перескочить в «хаос». Последние опросы служащих о качествах, необходимых руководителю, четко показывают такое требование к руководителю, как его способность обеспечить стабильность (человек не любит изменений, это требует затрат), AI будет способствовать обеспечению этой стабильности? Стабильности без работы? А что делать с «запросом» на децентрализацию связей и взаимоотношений, который поддерживают современные информационные технологии (тот же блокчейн), а как вести себя «государству» при этом, ведь, чтобы сохранить контроль за обществом, государство централизовано (по крайней мере в текущем его виде)? Если для обеспечения стабильности AI ему потребуются Big Data, и это полностью уничтожит вашу частную жизнь, вы согласитесь с этим? Хотите стабильности и безопасности – получайте социальные рейтинги. Моральный императив Канта гласит: «Поступай так, чтобы ты всегда относился к человечеству и в своем лице, и в лице всякого другого так же как к цели, и никогда не относился бы к нему только как к средству». А что происходит в «поведенческой» экономике с применением технологий, обеспечивающих МАНИПУЛЯЦИЮ нашими эмоциями и «впаривающими» нам то, что вовсе не нужно?
Мы надеемся, что биоинформационные технологии в будущем позволят продлить нашу жизнь и развить наши способности, хотя уже сейчас регенерационные возможности планеты меньше, чем нам необходимо. Одновременно технологии позволят создать «боевых» химер или общество «избранных», обладающих суперспособностями, но это смогут себе позволить несколько миллиардеров, обладающих активами, равными сумме активов половины человечества…
Особо следует отметить тему, которая связана с процессами глобализации, и я называю ее «технологическим колониализм». Как ранее географическая специфика поставила в неравное положение развитие отдельных популяций в процессе эволюции, которая впоследствии проявилась в виде рабства и колонизации более «сильными» более «слабых», точно так же технологическая специфика, когда носители знаний о технологии и производители технологий находятся в разных социальных и этнических группах, и первые эксплуатируют свое преимущество в силу экономических причин, ставит других в неравное с ними положение. Конечно, здесь можно привести позитивный пример «глокализации» Китая. Начиная как офшорный производитель, он перенял знания и вырвался вперед уже как самостоятельный носитель знаний, но это следствие других процессов, процессов информационной глобализации и невозможности локализации знаний. Тем не менее у людей для это хотя бы должны быть экономические возможности для получения знаний, а в «экономике знаний» знания нужны для получения знаний, т.е. снова замкнутый круг, и вырваться из него не просто.
Я не разделяю оптимизма Курцвейла о бесконечных возможностях разума, иначе AI, как «усилитель» разума, просто бы не появился. Мои айтишные друзья говорят мне что хайп с AI пройдет, как прошли другие технологические хайпы. Да, технологические волны будут идти одна за другой, пока «не вылижут» наши мозги, как гальку на берегу. И процедуры «детокса» провести не удастся, это как у инвалида отнять протез, а если «протез» вместо головы? У нас синдром «лягушки в кипятке» и «температура» поднимается медленно, мы не замечаем изменений. У американцев существует выражение: «Авраам Линкольн дал людям свободу, а полковник Кольт уравнял их шансы». Я бы продолжил эту фразу: «a искусственный интеллект отобрал у них и то и другое». Технологические активы, а следовательно, и возможности манипулирования оставшейся частью общества, сконцентрированы в рамках узкой группы лиц. Судя по всему, мы уже прошли точку невозврата… Скорость технологической эволюции превзошла скорость биологической и моральной эволюции человечества, и проблема не столько в наших потенциальных адаптационных возможностях, сколько в «регрессионной» адаптации. И хотя пока «интеллектуально развитая» часть общества еще успевает адаптироваться к переменам, «отстающих» становится все больше, а это значит, что скоро вместо термина «disruptive innovation» мы будем употреблять «disaster innovation»!!!
Как сказал один умный человек: «Люди восстанут раньше машин»…