У меня когда-то был очень жестокий директор школы того старого, ныне редко встречающегося образца: безупречно одетый, рубашка, галстук и мантия отутюжены до совершенства. Тот тип человека, который внушал детям, находившимся на его попечении, особый психологический ужас. Однажды за скудным британским обедом, обсуждая уроки той недели, он внезапно повернулся ко мне из-под своих испачканных мелом манжет и шёпотом, доверительным тоном сказал: «Я дорожу своими уроками тэквондо больше всего на свете, потому что это единственный момент, когда мне говорят, что делать, — самое освобождающее чувство». Будучи испуганным ребёнком, я не мог понять это замечание, учитывая, что каждое моё мгновение бодрствования диктовалось этим человеком и древним учреждением, которым он управлял. Теперь я глубоко понимаю его.
Воля конечна, её расходование истощает, и полный суверенитет над собственным существованием — это не освобождение, а тирания другого рода. В своей роли тирана мой директор построил клетку собственного изготовления.
Культ самостоятельности
И теперь, когда мы стремимся наделить машинные системы «способностями к самостоятельности», мы также восхваляем «высокосамостоятельных» личностей: предпринимателей, государственных деятелей, художников и других фигур, которые отвергают мир как данный и навязывают ему свои замыслы. Даже интернет-субкультуры приняли эту концепцию, превратив «неигрового персонажа» в термин презрения для тех, кто, как считается, просто выполняет скрипты. Мы фетишизируем инженера десятикратной эффективности и суверенную личность именно потому, что нас преследует обратная возможность: что в мире, где происходит угон внимания и существуют поля искажения алгоритмов, большинство из нас уже потеряли не только способность действовать, но и более глубокую способность знать, являются ли наши действия всё ещё нашими собственными.
Те из нас, кто работает в вычислительной технике, знают таких технологов, которые избегают социальных сетей, используют исключительно Линукс и программное обеспечение с открытым исходным кодом и взаимодействуют с миром через интерфейсы командной строки. В других областях искусствоведческие фанатики курируют каждый предмет в своих домах и каждый ресторан через авторитеты из области гастрономии. Эти жизни показывают, что самостоятельность в каждой области не является ни возможной, ни явно желательной. Для многих обещание искусственного интеллекта заключается именно в том, что он возьмёт принятие решений из наших рук.
Здесь возникает необходимость различать самостоятельность и автономию. Человек может обрести самостоятельность в узком смысле, став более эффективным в выполнении задач, одновременно теряя автономию в более глубоком смысле — в определении приоритетов, которым эти задачи служат. Тот, кто делегирует обдумывание искусственному интеллекту, может передвигаться по миру с большей компетентностью, скоростью и охватом, но при этом становиться всё более зависимым от целей, которые он не полностью сформировал. Важно то, развивает ли это способности, благодаря которым становится возможным самоопределение, или заменяет их, пока их отсутствие перестаёт ощущаться.
Мы хотим всего и сразу: мы хотим возможностей, которые предоставляют наши интеллектуальные машины, сохраняя при этом некоторое чувство индивидуальной автономии, мы хотим стать киборгами-сверхлюдьми, но также и безмятежными подданными машин, полных любящей благодати. Желание, чтобы синтетический интеллект говорил нам, что делать, может быть столь же сильным, как и противоположное стремление максимизировать нашу волю. У самостоятельности есть своя противоположность — тяга к гетерономии, состоянию подчинения другому. Как напоминает Бён-Чхоль Хан, общество, которое бесконечно продвигает самооптимизацию, неизбежно порождает скрытое желание подчинения. Пользователь Линукса не просто «свободен»; полная ответственность за каждую конфигурацию — это не свобода, а изнурительный труд по обслуживанию. Если Хан прав, то чего мы хотим от искусственного интеллекта, так это облегчения от усталости суверенитета. Но гетерономия не всегда является простым отрицанием автономии. В наши самые значимые моменты — в детстве, наставничестве, дружбе, религиозной жизни и образовании — управление другим является частью того, как формируется автономия.
Делегирование и потеря авторства
Одним из кажущихся выходов является мета-самостоятельность: я контролирую степень, в которой я контролирую данную область. Искусственный интеллект планирует мой день, но я решаю, как он это делает. Это пример того, что Гарри Франкфурт называл волей высшего порядка. Однако это ведёт нас в более глубокую ловушку, потому что самостоятельность атрофируется от неиспользования. Я остаюсь человеком, нажимающим на кнопки, но не обязательно человеком, который становится способным на суждение. Рассмотрим письмо. Письмо — это не просто инструмент для выражения предварительно сформированной мысли; это одна из практик, благодаря которой суждение становится вашим собственным. Человек, который никогда не писал много, не может отличить беглую прозу от подлинной мысли, потому что для распознавания разницы нужно почувствовать борьбу за то, чтобы аргумент обрёл связность. «Я буду использовать большие языковые модели для рутинных сообщений, а важные вещи писать сам» звучит как сохранённая мета-самостоятельность. Однако способность чувствовать, какие сообщения важны, какие требуют полного трения вашей мысли о язык, возможна только благодаря практике письма. Делегируйте достаточно долго, и всё начнёт казаться делегируемым. Вы не можете решить вернуть то, о чём больше не знаете, что потеряли, — потому что искусственный интеллект размыл те самые контексты, которые сделали бы эту потерю видимой.
Но, возможно, на самом деле проблема заключается в нашей неявной основе взгляда на самостоятельность, основанной на способностях. Здесь великим вкладом политического экономиста Амартии Сена было отделение свободы от либерального образа простого выбора. Самостоятельность — это не субстанция, которой можно обладать в большей или меньшей степени, гласит эта линия мышления, это скорее отношение, возникающее из встречи способности и контекста, между тем, что вы можете сделать, и тем, что ситуация позволяет, требует или исключает.
Хирург обладает большой самостоятельностью в операционной, где жизнь и смерть реагируют на движения его рук. Тот же самый хирург почти не обладает самостоятельностью на заседании больничного совета, где администраторы решают вопрос о финансировании его отделения. У ребёнка нет самостоятельности в вопросе времени отхода ко сну, но он может проявлять значительную самостоятельность в архитектуре воображаемых миров, в микрополитическом воображении игровой площадки или в медленной кампании по получению домашнего питомца. Самостоятельность — это не фиксированное количество, которое сохраняется; она вызывается к жизни или подавляется структурой каждой ситуации, в которую вы попадаете.
На службе у автономии
Этот контекстуальный взгляд усложняет наше технологическое повествование. Когда мы беспокоимся, что искусственный интеллект разрушит человеческую самостоятельность, мы можем представлять себе универсальную способность, которая истощается так, как будто у нас есть резервуар «самостоятельности», но на самом деле происходит нечто более конкретное и более странное: определённые виды самостоятельности в определённых контекстах переформировываются, некоторые могут быть усилены, другие — уменьшены, и возникает ещё больше таких, которых раньше не существовало.
Навигационные приложения разрушают мою способность ориентироваться по достопримечательностям и чувственному восприятию, то маленькое удовольствие от того, что я действительно ориентируюсь в пространстве. Но они также увеличивают мою способность прибывать вовремя, исследовать незнакомые города и уделять внимание разговору, а не планированию маршрута. Вопрос не в том, увеличился или уменьшился мой общий «баланс самостоятельности», а в том, какие именно виды самостоятельности важны для меня, какими я готов торговать и сохраняю ли я достаточно автономии, чтобы понимать и отменять этот обмен.
Возможно, мой директор понимал то, что я только сейчас узнаю: противоположность тирании — это не суверенитет, а забота. Его мастер тэквондо не унижал его. Отношения «учитель-ученик» работают, потому что учитель видит в ученике способность к развитию, гетерономию на службе у автономии. Итак, перед лицом, как нам говорят, перспективы постепенного лишения власти, мы должны спросить, может ли наш технический аппарат настраиваться на нас таким же образом. Может ли он развивать способности, с помощью которых осуществляется автономия, или просто заменять их, оставляя после себя приятное ощущение самостоятельности, делая нас более эффективными в служении целям, созданным где-то в другом месте. Помня всё время о том, что мы не просто раскрываем, кто мы есть, через наш выбор, мы становимся теми, кто мы есть, через него.
Это перевод статьи Филипа Морейра Томея. Оригинальное название: "On or Against 'Agency'".