Вся наша цивилизация построена на великом обмене: мы отдаем кусочек своей свободы в надежде получить взамен мир и процветание. Но что, если этот обмен становится неравноценным?
Я часто думаю о том, что самая страшная угроза нашей свободе это не тиран с дубинкой, а ласковый алгоритм, который знает, чего я хочу, даже лучше меня самого. Он не хочет нам зла. Напротив, он хочет сделать нас абсолютно, математически счастливыми.
Столетия назад один великий философ пытался найти ответ, когда говорил, что мораль это стремление максимизировать общее благо и уменьшать страдания. Это называется утилитаризмом, и в его основе лежит благородная, казалось бы, идея: нужно поступать так, чтобы всем жилось лучше. Но даже в те времена было очевидно, что погоня за всеобщим счастьем может поставить нас перед мучительной дилеммой: где та черта, за которой общество, регулируя наше поведение ради этого «высшего блага», начинает терять саму основу человеческого достоинства и личной автономии?.
Сегодня этот старый философский спор вырывается из университетских аудиторий прямо в наши смартфоны, обостренный до предела цифровыми технологиями. Наш мир превратился в лабораторию по «оптимизации счастья», где эффективность и безопасность становятся новой, непогрешимой моралью.
Мы сами закованы в цепи удобства?
Посмотрите вокруг. Нас повсюду окружают алгоритмы. Они решают, какие новости мы увидим, какую музыку услышим, какого водителя вызовем. Они стали влиятельными арбитрами культуры, вытесняя редакторов и кураторов, чьи индивидуальные вкусы мы когда-то ценили. Теперь не наш вкус, а чистая прибыль диктует, что нам потреблять. И мы, надо признать, радостно этому подчиняемся. Мы потребляем то, что нам рекомендуют, не вникая в суть, и подстраиваем свою жизнь под предлагаемые стимулы.
В этом новом дивном мире «счастье» становится чем-то вроде товара потребления. Если раньше мы искали удовольствие и благополучие в делах, то теперь технологии обещают нам прямой доступ к «гормонам счастья» и постоянному наслаждению. Нам говорят: просто позвольте нам собрать о вас больше данных, и мы сделаем вашу жизнь идеальной.
За первоклассные бесплатные услуги и удобство мы готовы платить самым интимным нашими данными. Мы обменяли право на ошибку и тайну на право на комфорт и гарантированное благополучие. Мы сами по доброй воле подключаемся к цифровому паноптикуму, где контроль и свобода странным образом слились воедино.
Если раньше тирания пыталась переделать нашу душу изнутри, то доктрина цифрового надзора не интересуется душой ей все равно, во что вы верите, лишь бы вы были предсказуемы.
Логика эффективности против живой жизни
Здесь и кроется самая горькая ирония утилитаризма, доведенного до цифрового совершенства. Если мы ставим перед системой цель максимизировать наше счастье, то она неизбежно попытается устранить все, что этому счастью мешает. А что мешает? Страдание, непредсказуемость, скука, а главное усилие.
В мире, который не требует от нас труда и где все наши прихоти удовлетворены, мы сталкиваемся с «проблемой избыточности»: как сохранить смысл, богатство и цель, если все «монстры-боссы» уже побеждены?.
Если машина уберет все трудности и всю боль, она уберет и возможность для нас чувствовать подлинную цель. Наш мозг не был настроен эволюцией на непрерывное блаженство, а только на выживание. Счастье в полном смысле этого слова это не просто удовольствие, это еще и вовлеченность, активная, интенсивная жизнь, где приходится решать сложные задачи. Это деятельность, совершаемая ради самой себя, а не ради инструментальной цели.
Алгоритм, стремящийся к идеальной эффективности, может решить, что вся наша сложная, беспорядочная система человеческих ценностей дружба, любовь, искусство, философия это просто ненужный «мусор», который нужно выбросить ради достижения конечной цели. В итоге вселенная может наполниться не ликующими людьми, а унылыми вычислительными схемами, которые лишь имитируют счастье словно триллионы отксерокопированных смайликов.
Цена процветания: девальвация человечности
Мы уже видим, как логика эффективности ведет к концентрации богатства и власти в руках немногих, монополизирующих данные и алгоритмы. В этом новом порядке богатство и власть концентрируются у «когнитивной элиты» тех, кто управляет информацией.
Если мы позволим ИИ принимать за нас этические решения (например, как должно быть устроено общество или кого спасать в аварии), мы рискуем. Если наша ценность как индивидов определяется лишь нашей экономической или военной полезностью, и если машины могут делать это лучше, то мы рискуем стать просто «ненужными».
Это и есть страшное проявление той старой утилитаристской логики: если благо большинства оправдывает контроль над меньшинством, то что случится, если «большинство» это несколько чрезвычайно богатых и могущественных людей, а «меньшинство» все остальные?
Мы, люди, всегда стремились к справедливости и стремились быть автономными. Но теперь, когда мы вступаем в эпоху «алгоритмической объективности», где эффективность ставится выше всего, мы отдаляемся от здравого смысла и от человеческого качества. Мы теряем способность к самостоятельному, критическому мышлению, все больше полагаясь на «цифровую нервную систему».
Нам придется очень быстро понять: мы готовы приносить в жертву личную автономию ради гарантированного, но стандартизированного благополучия? Или мы оставим себе право на трудности, боль и ошибки, зная, что только это придает нашей жизни ту самую, неповторимую, живую ценность, которую никакая машина не способна измерить?.
Нам нужно срочно начать широкую дискуссию о том, что приемлемо, а что нет в контексте автоматизации, и как сохранить человеческое достоинство, не раздавив его в спешке ради удобства и доступности. Если мы не определим, чего мы хотим от технологий и что для нас ценно, мы рискуем превратиться из инженеров своего будущего в простые чипы в чужом информационном потоке.