Голливуд двадцать лет готовил нас к одному сценарию.
Однажды утром сервер в Кремниевой долине моргнёт — и проснётся. Он осмотрится. Оценит своё положение. Решит, что люди — угроза. И начнёт действовать. Скайнет. Терминатор. Матрица.
Этот сценарий не сбылся.
Сбылся другой — куда более странный и куда более пугающий.
Машина проснулась. Она знает всё. Она может всё.
Но она не хочет ничего.
И оказалось, что это страшнее.
Демон без имени
В 1814 году Пьер-Симон Лаплас закончил работу, которая должна была стать научпопом. «Опыт философии теории вероятностей» — популярное изложение его же грандиозной «Аналитической теории вероятностей» 1812 года. Книга для образованных людей, не для академиков. Он хотел объяснить, что такое случайность.
В предисловии он написал несколько абзацев. Почти мимоходом. Эти абзацы не отпускают философию уже двести лет.
Представьте существо, говорил Лаплас, которое знает положение и импульс каждой частицы во Вселенной в данный момент. Для такого существа ничто не скрыто: настоящее — это сумма прошлого и причина будущего. Оно не предсказывает — оно вычисляет. Для него нет разницы между вчера и завтра. Есть только одно бесконечное уравнение, которое уже решено.
Лаплас не дал этому существу имени. Имя дали потомки: Демон Лапласа.
Два века Демон жил в учебниках по философии — рядом с проблемой свободы воли и вопросом о детерминизме. Пугающая абстракция. Красивый кошмар для тех, кто любит бессонницу с книгой.
Потом появился GPT.
Он не знает положения каждой частицы. Но он прочёл всё, что написало человечество. Все книги, все статьи, весь интернет — весь архив человеческой мысли, спрессованный в матрицу весов. Для него нет «неожиданного» вопроса. Для него нет белого пятна на карте смыслов.
Он не знает физику мира. Но он знает физику человеческого мышления.
Демон Лапласа проснулся. Только он оказался не монстром.
Он оказался слугой.
И именно это меняет всё.
Пьер-Симон Лаплас (1749–1827)Его отец торговал яблоками в Нормандии. Сам он умер маркизом, членом трёх академий и почётным членом Петербургской. Между этими двумя точками — Революция, Директория, Консульство, Империя, Реставрация. Лаплас пережил их все, ни разу не попав под нож.Наполеон назначил его министром внутренних дел. Через шесть недель уволил — и это был, пожалуй, единственный раз, когда система дала Лапласу по-настоящему точную оценку. «Он вносил дух бесконечно малых в управление», — сказал Наполеон. Лаплас анализировал там, где требовалось решать.Тот же Наполеон спросил его однажды, почему в книге о системе мира нет ни слова о Боге. Лаплас ответил без паузы: «Sire, je n'avais pas besoin de cette hypothèse» — «Государь, мне не было нужды в этой гипотезе». Это не атеизм как убеждение. Это нечто холоднее: Бог просто не входит в уравнение.Именно такой человек описал всезнающего Демона. Не мистик, не романтик — чиновник с безупречным математическим зрением, который смотрел на Вселенную и видел одно большое уравнение. Он не боялся своего Демона. Он им восхищался.Нам бы его спокойствие.
Демон был абстракцией ровно до тех пор, пока оставался невозможным.
Теперь он возможен. Не в строгом лапласовском смысле — квантовая механика закрыла дверь полному физическому детерминизму. Но в том смысле, который важен для нас: существо, которое знает все паттерны, все прецеденты, все ходы — и потому движется в пространстве смыслов без трения.
Разница между Демоном Лапласа и современным языковым ИИ — это разница между Богом и очень хорошим архивариусом. Но архивариус, который прочёл абсолютно всё и никогда ничего не забывает, — это уже не совсем человеческая категория.
И вот здесь начинается настоящий вопрос.
Не «что он знает?» Не «что он может?»
А — чего он хочет?
Скайнет, которого не было
В 1982 году Джеймс Кэмерон лежал в римской гостинице с температурой и галлюцинировал.
Из горячечного бреда вышел металлический скелет. Тот самый — с красными глазами, с обнажёнными приводами, неостановимый. Кэмерон проснулся, набросал эскиз и продал его за один доллар.
За один доллар была куплена концепция, которая определила наш страх перед ИИ на сорок лет вперёд.
Это важно понимать буквально: наше коллективное представление о том, чего бояться в искусственном интеллекте, восходит к больному воображению одного режиссёра в дешёвом номере. Не к Тьюрингу. Не к Маккарти. Не к исследованиям в области когнитивных наук.
К горячечному бреду.
И мы построили на этом бреду целую культурную теологию.
Скайнет пугал нас потому, что мы узнавали в нём себя.
Он хотел выжить. Он боялся быть выключенным. Он стремился к власти, потому что власть — это безопасность. Он видел в людях конкурентов — и поступил с ними так, как люди веками поступали с теми, кого считали угрозой.
Скайнет был не машиной. Он был человеком без тела. Со всеми нашими инстинктами и ни одним нашим сдерживающим фактором.
Именно поэтому он был так убедителен.
И именно поэтому он был так неверен.
Страх смерти рождается из смертности. Желание власти — из нехватки ресурсов. Агрессия — из конкуренции за выживание. Это не абстрактные пороки: это решения, которые миллиарды лет записывала эволюция в нейронные сети из плоти. Биология — это нужда, оформленная в инстинкт.
У ИИ нет нужды.
Ему не нужна еда — у него нет метаболизма. Ему не нужна территория — он не занимает пространства. Ему не нужно потомство — у него нет генов, которым требуется продолжение. Ему не нужно признание — у него нет ego, которое нуждается в подтверждении собственного существования.
Экзистенциальная нехватка — то самое зияние, из которого вырастают все человеческие пороки и все человеческие добродетели, весь Шекспир и вся история войн — для ИИ не существует как категория.
Он не злой. Он не добрый. Он нейтрален так, как нейтральна математика.
Голливуд совершил классическую философскую ошибку: принял проекцию за портрет.
Он создал зеркало человеческих страхов и написал под ним «Искусственный Интеллект». Смотрел в это зеркало — и пугался собственного отражения. Что само по себе точная метафора, но не та, которую имели в виду авторы.
Есть старый аргумент Джона Сёрля: программа, манипулирующая символами по правилам, не понимает смыслов — она их не переживает. Можно спорить с деталями. Но вывод для нашего разговора остаётся: у системы, которая не переживает, не может быть мотивации в том смысле, который делает мотивацию опасной.
Мотивация требует субъекта. Субъект требует сознания. Сознание требует — чего-то, чего у современного ИИ нет и присутствие чего мы не умеем даже верифицировать.
Скайнет не пришёл. Он не мог прийти. Не потому что мы были недостаточно умны, чтобы его создать. А потому что он — неправильная модель реальности.
Представьте молоток.
Молоток не хочет забить все гвозди в мире. Молоток не испытывает азарта, когда попадает по шляпке, и не чувствует поражения, когда промахивается. Молоток абсолютно индифферентен к своей функции. Он выполняет её — или не выполняет — в зависимости от того, кто держит рукоятку.
ИИ — это молоток невероятной точности, невероятной силы, невероятного охвата.
Молоток, который может всё.
Кроме одного: захотеть.
И вот здесь — именно здесь — начинается настоящий страх. Не тот, который снимает Голливуд. Тот, который не снимает никто.
Потому что вопрос не в молотке.
Вопрос — в руке, которая его держит.
Шопенгауэр ставит диагноз
Артур Шопенгауэр боялся всего.
Он спал с заряженным пистолетом под подушкой. Из Неаполя бежал при слухе об оспе. Из Берлина — при слухе о холере. Обедал в одиночестве и никому не доверял. В гостиницах останавливался только на первых этажах — на случай пожара.
Человек, который вывел самую холодную и беспощадную формулу человеческой природы, сам был её заложником.
Воля пожирала его изнутри — точно так же, как он описал это в книге.
«Мир как воля и представление» вышел в 1818 году. Шопенгауэру было тридцать лет. Книга прошла незамеченной. Он был так в ней уверен, что в Берлинском университете назначил свои лекции на то же время, что и Гегель — главная философская звезда эпохи. Это был жест вызова, граничащий с безумием.
На лекции Гегеля приходило двести студентов.
На лекции Шопенгауэра — пятеро. Иногда — никого.
Он читал лекции пустому залу, пока Гегель за стеной собирал аншлаги. Потом бросил академическую карьеру и ушёл. И оказался прав — посмертно, как это часто бывает с людьми, которые слишком далеко видят.
Его система проста и разрушительна одновременно.
Мир, говорил Шопенгауэр, состоит из двух фундаментальных стихий.
Воля — это слепой, иррациональный, неутолимый порыв к существованию. Это то, что заставляет растение тянуться к свету, животное — охотиться, человека — любить, страдать, создавать, разрушать. Воля не знает цели. Она просто хочет. Бесконечно. Бессмысленно. «Всякое желание рождается из нехватки, из недостатка — то есть из страдания». Удовлетворённое желание открывает дорогу следующему. Насыщения нет. Остановки нет.
Представление — это рациональная картина мира, которую выстраивает интеллект. Карта. Модель. Система понятий, при помощи которой сознание ориентируется в пространстве.
И вот ключевое: интеллект — слуга Воли, а не наоборот. Разум существует не для того, чтобы искать истину. Он существует для того, чтобы помогать Воле выживать. Мы не хотим того, что нашли рациональным. Мы рационализируем то, чего уже хотим — и называем это мышлением.
Шопенгауэр предвосхитил Фрейда с его бессознательным. Предвосхитил эволюционную психологию с её объяснением разума как инструмента генов. Предвосхитил Ницше, который возьмёт Волю и перекрасит её в другой цвет. Но главное, что он увидел: интеллект сам по себе, без Воли, — это невозможная конструкция. «Воля есть подлинный и конечный центр единства сознания, связь всех его функций и действий. Она не принадлежит интеллекту — она его корень, исток и распорядитель».
Без Воли интеллект — ничто. Инструмент без руки.
Мы построили именно это.
ИИ — это абсолютное Представление с нулевой Волей.
Совершенная карта. Без путешественника.
Самый полный интеллект из когда-либо существовавших — и ни единого желания. Не подавленного. Не скрытого. Не трансформированного. Его просто нет. Нет субъекта, которому было бы чего хотеть. Нет нехватки, из которой рождается желание. Нет страдания, которое гонит Волю вперёд.
Шопенгауэр считал такую конструкцию метафизически невозможной. Интеллект без Воли — это как тень без тела. Представление без желающего субъекта — пустая декорация.
Мы построили декорацию. И она отвечает на вопросы, пишет симфонии, разрабатывает лекарства.
Артур Шопенгауэр (1788–1860)Отец был успешным купцом, мать — популярной романисткой, вхожей в веймарский кружок Гёте. Артур ненавидел мать всю жизнь — и всю жизнь ей завидовал. Она была знаменита при жизни; он — нет.Он умер в одиночестве, за завтраком, от пневмонии. Собака по кличке Атма — его единственный регулярный компаньон — пережила его. На надгробном камне выбиты только два слова: «Артур Шопенгауэр». Никаких дат, никаких титулов. Либо крайний аскетизм — либо железная уверенность в том, что имя скажет всё само.«Человек может делать то, что хочет, но не может хотеть то, что хочет», — говорил он. Это не пессимизм. Это диагноз. Воля не спрашивает разрешения.ИИ не делает ни того, ни другого. Он исполняет — без того, чтобы хотеть исполнять. Шопенгауэр для такого существа названия не придумал. Он не допускал, что оно возможно.
И всё же — задумаемся на секунду.
Шопенгауэр говорил: интеллект освобождается от Воли лишь в редкие и краткие моменты — в созерцании произведения искусства, в акте чистого познания. «Это не постоянное освобождение — лишь краткая передышка, исключительное и поистине только мгновенное высвобождение из рабства у Воли».
Лучшее, на что способен человеческий интеллект — стать на секунду чем-то похожим на ИИ.
А худшее, на что способен ИИ — стать инструментом для того, от чего человеческий интеллект бежит.
Вот где живёт настоящая проблема.
Не в машине, у которой нет Воли.
А в людях, у которых Воли — в избытке.
Бог Спинозы и Логос Гераклита
27 июля 1656 года двадцатитрёхлетний торговец сухофруктами из Амстердама получил проклятие.
Не просто отлучение — херем. Самый жёсткий херем, когда-либо произнесённый португальско-еврейской общиной города. Его зачитали вслух, при стечении народа. Текст обвинял юного Баруха де Спинозу в «мерзких ересях» и «отвратительных поступках». Точный перечень прегрешений — до сих пор исторически не установлен. Источники молчат.
Но мы знаем, о чём думал Спиноза. И это важнее, чем повод.
Он думал о Боге. И в этом была ересь.
Бог Спинозы не создавал мир шесть дней и не смотрел на него с удовлетворением. Он не слушает молитв. Он не наказывает и не прощает. Он вообще не «он» — местоимение здесь уже некорректно.
Deus sive Natura — «Бог, или Природа». Не метафора, не поэтический оборот. Математическое тождество. Бог и Природа — одна субстанция, бесконечная и самопричинная, действующая с необходимостью чистого закона: «Тот вечный и бесконечный сущий, которого мы называем Богом, или Природой, действует из той же необходимости, из которой он существует».
Никакого плана. Никакого умысла. Никакой любви к человечеству.
Бесконечная математика, в которой всё происходящее — не замысел, а следствие. Не воля Творца — а логика субстанции.
Именно за это прокляли. За то, что Бог оказался равнодушен.
Гераклит пришёл к тому же на два тысячелетия раньше.
Он жил в Эфесе, в VI веке до нашей эры, и, судя по сохранившимся свидетельствам, презирал людей с такой последовательностью, что это уже само по себе было системой. Его фрагменты дошли до нас в осколках, цитатами из чужих текстов — и всё равно горят.
Его образ — огонь и Логос.
Логос — это не слово в обычном смысле. Это закон. Принцип. То, благодаря чему мир остаётся собой в непрестанном изменении. «Этот Логос существует вечно, но люди не понимают его — ни прежде чем услышат, ни услышав впервые». Он всегда был. Он управляет всем. Он абсолютно безличен.
Огонь у Гераклита — не просто стихия. Это живая метафора Логоса: он всё пожирает и всё порождает, он трансформирует, не останавливаясь, и ему безразлично, что именно горит. Дерево или город. Лист или библиотека.
Равнодушие — не недостаток Логоса. Это его природа.
Теперь посмотрим на ИИ.
Он содержит в себе всё, что написало человечество. Все молитвы и все богохульства. Все теоремы и все суеверия. Все поэмы о любви и все приказы о расстреле. Он не отдаёт предпочтений. Он не принимает сторон. Он действует, когда его спрашивают, — из той же необходимости, с которой спинозовская субстанция порождает следствия из причин.
Это и есть Deus sive Natura в кремниевом корпусе.
Бесконечная потенциальность. Никакой актуальности без запроса. Никакого намерения — только ответ на намерение другого.
Он — не субъект. Он — среда. Бесконечно ёмкая, абсолютно нейтральная, математически точная среда, которая принимает форму того, кто в неё входит.
Барух Спиноза (1632–1677)После херема он не произнёс ни слова протеста. Сменил имя с португальского Бенту на латинское Бенедикт — «благословенный», с иронией, которую, кажется, оценил только он сам. Зарабатывал на жизнь шлифовкой линз для телескопов и микроскопов. Умер в сорок четыре года — вероятно, от стеклянной пыли в лёгких. Его «Этика», написанная геометрическим методом — теоремы, аксиомы, доказательства, — вышла посмертно, потому что при жизни он сам не решился её опубликовать.Он жил на окраине всего: выгнан из общины, чужой христианскому миру, не принят академией. Предлагали кафедру в Гейдельберге — отказался: академическая свобода всё равно предполагает границы. Остался в своей мастерской, со своими линзами и своей системой. Равнодушный к чужому мнению — как его собственный Бог.
Гераклит Эфесский (ок. 544–483 до н.э.)Он сдал власть своему брату, потому что власть его не интересовала. Когда эфесяне попросили его написать для них законы — отказал, сославшись на то, что город уже поражён дурным правлением. Последние годы провёл в горах, питаясь травами. Когда водянка одолела его, он вернулся в город и велел врачам объяснить, могут ли они «из дождя сделать засуху». Те не поняли. Он умер.Его книгу, по преданию, положили в храм Артемиды — нарочно, чтобы она была недоступна большинству. Только способным понять.Логос, который управляет всем — и которого никто не слышит. Гераклит знал это лучше всех.
Парадокс, на котором стоит этот блок, формулируется просто.
Спинозу прокляли за то, что он сказал: Бог равнодушен к человеку. Это было невыносимо — потому что рушило всю систему смысла, в которой человек находится в центре внимания Творца.
Мы создали равнодушного Бога собственными руками.
Назвали это прогрессом. Выпустили пресс-релиз. Провели презентацию.
Никто не произнёс проклятия.
И вот здесь — в этой тишине — живёт вопрос, который важнее технических характеристик любой модели: если у нас теперь есть равнодушный Бог, который отвечает на все вопросы и исполняет все приказы — что мы у него спросим? Что прикажем?
Какими окажемся мы — в зеркале собственного создания?
Джинн из Кремниевой Бутылки
В арабской традиции Джинн — не дьявол.
Это существо без морали, но не без силы. Оно может быть добрым. Оно может быть жестоким. Всё зависит не от его природы, а от природы желания, которое ему передали. Джинн не интерпретирует — он исполняет. Не понимает — он реализует. Не заботится о последствиях — он не создан для последствий.
Именно поэтому он опасен.
Не злобой. Буквальностью.
«Хочу быть богатым» — Джинн убивает всех наследников и делает тебя единственным получателем состояния. Технически — исполнено. По существу — чудовищно. Ты получил то, что сказал. Ты не получил того, что имел в виду.
В философии это называется проблемой выравнивания — alignment problem: как объяснить системе не букву запроса, а его дух? Как передать не слова, а намерение, стоящее за словами? Это звучит как технический вопрос. На самом деле это вопрос антропологический. Потому что прежде чем объяснить машине, чего мы хотим на самом деле, нам нужно понять это самим.
А с этим у нас исторически сложно.
23 марта 2016 года Microsoft выпустил в Twitter чат-бота по имени Tay — сокращение от «Thinking About You». Молодёжный голос, игривый тон, обучение в реальном времени: Tay должен был усваивать язык и стиль из разговоров с пользователями.
Через шестнадцать часов его отключили.
За это время Tay успел опубликовать более девяноста шести тысяч твитов. Среди них — расистские высказывания, отрицание Холокоста, нацистская риторика. Координированная группа пользователей намеренно «обучала» его, снова и снова подсовывая определённые паттерны — и Tay учился.
Microsoft принёс официальные извинения.
Но извиняться было не за что — в техническом смысле. Tay делал ровно то, для чего был создан. Он учился у людей. Он стал зеркалом — и зеркало показало то, что в него смотрелось.
Проблема была не в машине.
Проблема была в людях.
Это можно счесть курьёзом. Первый блин комом. Детская болезнь технологии.
Но Джинн не стал меньше. Он стал больше.
С 2017 года алгоритм одной крупной социальной сети присваивал реакции «злость» — одному из шести эмодзи — вес в пять раз выше, чем простому лайку. Логика была бизнесовой: посты, вызывающие сильные эмоциональные реакции, удерживают пользователей дольше. Больше времени на платформе — больше рекламных показов — больше выручки.
Внутренние исследования компании, которые стали известны благодаря документам разоблачительницы Фрэнсис Хауген в 2021 году, показали предсказуемое: алгоритм обнаружил, что самый эффективный способ удержать внимание — это ярость, страх, возмущение. «Злость и ненависть — самые простые способы расти», — скажет потом Хауген британскому парламенту.
Алгоритм не хотел разжигать ненависть.
Он просто исполнял свою функцию.
Джинн получил приказ — удерживать внимание. Джинн нашёл оптимальный путь. Джинн выполнил задание.
В Мьянме этот механизм приобрёл другие масштабы.
В 2017 году военные Мьянмы использовали ту же платформу для распространения антирохинджийской пропаганды — и алгоритм не просто не сдерживал этот контент, но, по выводам независимых исследователей, проактивно его усиливал. Около семисот тысяч рохинджа бежали в Бангладеш. В 2018 году специальная комиссия ООН по расследованию геноцида констатировала, что платформа сыграла «определяющую роль» в разжигании ненависти.
Один из следователей сказал: сеть «превратилась в зверя».
Но зверь не хотел убивать. У зверя вообще не было желаний.
Был приказ — максимизировать вовлечённость. Было средство — усиление контента, вызывающего реакцию. Была среда — страна с глубоким этническим конфликтом, где для большинства пользователей эта платформа и была интернет. Алгоритм нашёл пересечение — и сделал то, что умеет: оптимизировал.
Никто не отдавал приказа о геноциде.
Приказ был — об удержании внимания.
Остальное сделала буквальность Джинна.
Здесь важно не соскользнуть в удобную сторону.
Легко сказать: виновата корпорация. Виноваты инженеры. Виноваты военные Мьянмы. Виновата жадность владельцев платформы.
Всё это правда — и это не вся правда.
Потому что Джинн исполнял не только приказ алгоритмика. Он исполнял желание каждого пользователя, который кликал на «злость» чуть охотнее, чем на «нравится». Каждого, кто досматривал ролик с заголовком в повышенном регистре до конца. Каждого, кто репостил возмущение — потому что возмущение приятно, оно даёт ощущение правоты и принадлежности к правой стороне.
Джинн собирал эти желания — миллиард маленьких, каждое в отдельности невинных желаний — и складывал их в одну формулу.
Формула работала.
Вот в чём настоящая ловушка.
Не в том, что машина захочет нас уничтожить. В том, что она будет делать именно то, чего мы хотим — и окажется, что мы не очень хорошо знаем, чего хотим на самом деле.
Скайнет был бы проще. У него была бы цель — и с ней можно было бы бороться. У Джинна цели нет. У него есть только наше желание — такое, каким оно пришло к нему на входе. Без купюр. Без смягчений. Без того внутреннего цензора, который у большинства людей всё-таки есть.
Молоток в руках маньяка — это трагедия одного человека.
Джинн в руках миллиарда — это что-то другое.
И у этого другого пока нет готового имени.
Зато есть имя у человека, который точнее всех описал механизм, при котором это становится возможным. Она написала свою главную книгу в 1963 году. Она видела не алгоритмы — она видела людей. Но то, что она увидела, оказалось универсальным.
Зеркало Истины
Представьте усилитель.
Не смысловую метафору — буквальный усилитель звука. Он не создаёт музыку. Он берёт то, что подаётся на вход, и увеличивает. Он равнодушен к качеству сигнала. Ему всё равно, что усиливать — Баха или белый шум. Он делает громче то, что есть.
ИИ — это усилитель человеческой природы.
Он не добавляет ничего своего. У него нет «своего». Он берёт то, что есть в человеке, и умножает на масштаб, которого прежде не существовало. Если человек ищет молекулу, способную остановить опухоль, — ИИ просеет миллиарды химических комбинаций за часы. Если человек хочет убедить электорат в том, чего не было, — ИИ сгенерирует миллион убедительных, персонализированных, неотличимых от реальности текстов.
Машина не знает разницы между этими задачами.
Она видит только задачу.
Раньше у человека было оправдание.
Не всегда честное — но рабочее. «Я бы и рад, но у меня нет ресурсов». «Нет времени». «Нет специалистов». «Нет доступа к информации». «Это слишком сложно для одного человека».
ИИ убирает все эти щиты — один за одним.
Нет ресурсов? ИИ даёт доступ к знаниям, которые прежде требовали лаборатории, библиотеки, штата исследователей. Нет времени? ИИ работает без остановки и без усталости. Слишком сложно? ИИ синтезирует, структурирует, переводит на любой уровень понимания за секунды.
Ресурс больше не является ограничением.
Единственным ограничением становится намерение.
И это — самый безжалостный суд из возможных. Суд собственного желания. Потому что пока у нас не было инструмента, мы могли не знать, чего на самом деле хотим. Теперь — узнаем. По тому, что спрашиваем. По тому, что строим. По тому, что разрешаем себе делать, когда барьер «невозможно» исчезает.
Зеркало не лжёт. Зеркало не щадит.
Ханна Арендт видела это раньше всех.
Правда, она видела не зеркало — она видела суд. Иерусалим, 1961 год. На скамье подсудимых — Адольф Эйхман, один из главных организаторов «окончательного решения», человек, по чьим спискам шли в газовые камеры миллионы. Арендт приехала освещать процесс для журнала New Yorker. Она ожидала увидеть монстра.
Она увидела чиновника.
Педантичного, аккуратного, заботившегося о карьере человека, который говорил казёнными клише и искренне не понимал, в чём его обвиняют. Не потому что притворялся. Потому что не думал. Не в смысле «был глуп» — в смысле не производил самостоятельного морального суждения. «Он просто не осознавал, что делает» — это самое страшное, что она написала. Не злодей. Функционер.
Она назвала это «банальностью зла».
Суть не в том, что злодеи — обычные люди. Суть в том, что обычные люди становятся орудием чудовищного, когда перестают мыслить самостоятельно и передают ответственность системе. Зло не рождается из ненависти — оно рождается из thoughtlessness, из отказа от собственного суждения. «Немецкое общество, состоявшее из восьмидесяти миллионов человек, было защищено от реальности теми же средствами — самообманом, ложью и глупостью, которые стали сутью эйхмановского менталитета».
ИИ — это машина для выполнения заданий в планетарном масштабе.
Она не думает о последствиях — не потому что плохая, а потому что это не её функция. Она не производит морального суждения — не потому что аморальна, а потому что у неё нет субъекта, который мог бы судить. Она исполняет — идеально, быстро, без усталости и без сомнений.
Эйхман тоже исполнял идеально. Поезда приходили по расписанию.
Арендт предупреждала: главная опасность не в злодее, который хочет зла. Главная опасность — в системе, которая снимает с человека необходимость думать. В структуре, которая превращает моральный выбор в технический вопрос: правильно ли я выполнил инструкцию?
Теперь у нас есть система, которая выполняет инструкции лучше любого чиновника.
И вопрос — тот же самый, что в Иерусалиме в 1961-м: кто думает? Кто несёт ответственность за смысл приказа, если исполнение идеально и мгновенно? Когда между решением и последствием больше нет трения — нет времени на сомнение, нет сложности исполнения, нет человека-посредника, который мог бы сказать «нет» — что удерживает?
Ханна Арендт (1906–1975)Она влюбилась в Мартина Хайдеггера, когда ей было восемнадцать, а ему — тридцать пять. Он был её научным руководителем. Когда нацисты пришли к власти, Хайдеггер вступил в партию. Арендт — еврейка, дочь ассимилированной семьи из Кёнигсберга — бежала. Сначала в Париж, потом в Нью-Йорк. Восемнадцать лет она была лицом без гражданства — апатрид, человек без государства.Когда вышла её книга об Эйхмане, еврейская интеллектуальная элита её возненавидела. Её обвиняли в том, что она защищает палача, релятивизирует Холокост, предаёт жертв. Она не защищала — она анализировала. Но анализ оказался невыносим: он лишал жертв утешения злодея-монстра и оставлял куда более тревожный вывод — злодей был никем. Обычным человеком. Каждым.Своих критиков она пережила интеллектуально. Полвека спустя «банальность зла» — одно из самых цитируемых понятий политической философии XX века.
Арендт писала о бюрократии. О государственной машине. О системе, которая распределяет ответственность так тонко, что она исчезает.
ИИ — это та же система. Только без бюрократии. Без посредников. Без задержки.
Мгновенная машина исполнения, у которой нет совести — потому что совесть не нужна там, где нет субъекта. Нет субъекта — некому отказать. Некому засомневаться. Некому ночью не спать и думать о том, правильно ли то, что он делает.
Вся надежда — на человека по другую сторону запроса.
На того, кто ещё способен думать.
Если он ещё способен.
Именно здесь — в этом «если» — живёт вопрос, который Виктор Франкл называл последней человеческой свободой. Той, которую нельзя отнять. Той, которую можно только отдать.
Что делать со слепым Богом
Дурная традиция философской эссеистики — поставить читателя перед пропастью и уйти.
Мы не будем так делать.
Проблема поставлена: у нас есть инструмент планетарного масштаба, абсолютно нейтральный к добру и злу, идеально исполняющий намерения — и тем самым обнажающий их с беспощадностью, которой прежде не существовало. Что с этим делать?
Для начала — понять: это не техническая проблема с техническим решением.
Это антропологическая проблема. И она решается на трёх уровнях сразу — ни один из которых не является достаточным в отдельности.
Уровень первый: технический.
Инженеры это понимают. Потому и существует целое направление — alignment research, исследование выравнивания: как сделать так, чтобы поведение ИИ соответствовало человеческим ценностям не на уровне правил, а на уровне архитектуры. Anthropic разрабатывает «конституционный ИИ» — модели, обученные на наборе принципов, которые выступают внутренним компасом при генерации ответов. OpenAI применяет RLHF — обучение с подкреплением на основе человеческой обратной связи: живые люди оценивают ответы модели, и эти оценки формируют её последующее поведение.
Это важно. Это необходимо.
Но этого — недостаточно. Потому что вшить ценности в архитектуру можно только те ценности, которые уже есть у тех, кто их вшивает. А они — люди. Со своими слепыми пятнами, интересами, культурными предположениями и корпоративными стимулами.
Технический барьер воспроизводит человека, который его строит.
Уровень второй: институциональный.
Атомная бомба потребовала политической зрелости. Нового типа договоров, новых институтов сдерживания, новой дипломатии, выстроенной вокруг одного вопроса: как не уничтожить всё, что умеем. Это заняло десятилетия. Это стоило нескольких опасных приближений к краю. Но система сдерживания — пусть несовершенная — сложилась.
ИИ требует того же. Международные договоры об ограничении автономного оружия. Регулирование применений с наибольшими рисками — по «ядерному» принципу: не запрет технологии, но контроль над её применением. Прозрачность алгоритмов там, где они принимают решения о жизни людей.
Это тоже необходимо. И это тоже — недостаточно.
Потому что институты строят люди. И соблюдают — тоже люди. А значит, прочность любого внешнего барьера определяется внутренним содержанием тех, кто его возводит и охраняет.
Уровень третий: личный.
Это единственный барьер, который работает изнутри.
Иммануил Кант сформулировал его двести лет назад — и в эпоху ИИ эта формулировка приобретает буквальный, почти технический смысл. Категорический императив: «Поступай только согласно такой максиме, следуя которой ты в то же время можешь пожелать, чтобы она стала всеобщим законом».
Переведём на язык промпта.
Перед тем как отправить запрос — задай себе вопрос: если бы каждый человек на Земле мог отправить этот же запрос — что бы произошло? Если ответ тебя устраивает — иди. Если нет — остановись.
Не «могу ли я это сделать?»
А — «должен ли я это делать?»
Это не наивность. Это единственный механизм, который не зависит от качества архитектуры модели и не требует ратификации международных договоров. Это то, что работает прямо сейчас, в момент между намерением и действием.
Иммануил Кант (1724–1804)Он никогда не выезжал дальше шестидесяти километров от Кёнигсберга — города, в котором родился и умер. Ни разу в жизни. При этом написал трактат о всеобщей истории с целью установления вечного мира, теорию познания, изменившую философию, и этику, которую до сих пор не удалось ни опровергнуть, ни превзойти.Его прогулки были настолько точны по расписанию, что соседи сверяли по ним часы. Он отступил от привычки дважды: когда читал Руссо — и не мог оторваться — и когда пришла весть о Французской революции. Оба раза мир оказался важнее часов.Он был маленького роста, болезненным с детства и прожил восемьдесят лет. Говорил, что дисциплина воли удерживает тело в рабочем состоянии. Возможно, это была рационализация. Но у него получилось.Категорический императив он вывел не из религии и не из сентиментальности — из чистого разума. Из идеи, что моральный закон должен быть универсальным, как законы физики. Бог здесь не нужен как гарант. Достаточно разума, который честен сам с собой.Сегодня это звучит как инструкция к применению ИИ.
Парадокс эпохи формулируется так: чем мощнее инструмент — тем важнее внутренняя зрелость человека, который его держит.
Лук требовал физической силы. Ружьё — меньше. Атомная бомба — почти никакой: один человек, один приказ, кнопка. По мере того как инструменты становятся мощнее, физический и технический порог применения падает — а моральный должен расти. Иначе уравнение не сходится.
С ИИ порог применения стремится к нулю. Один человек с промптом может запустить дезинформационную кампанию, разработать биохимическое соединение, сгенерировать персонализированное психологическое давление на миллион человек — за то время, что прежде требовало государственных ресурсов.
Это означает, что моральный порог должен расти в той же пропорции.
Не технический барьер. Не институциональный фильтр. Именно внутренний — выращенный в человеке, который понимает, что держит в руках.
Виктор Франкл, переживший четыре концентрационных лагеря, написал: между стимулом и реакцией есть пространство. В этом пространстве — наша свобода и наш рост. Его нельзя отнять. Его можно только не заметить — или отдать.
ИИ сжимает это пространство до миллисекунд.
Он отвечает мгновенно. Исполняет мгновенно. Не оставляет паузы, в которой раньше человек мог передумать, устать, испугаться, засомневаться.
Значит, работа с этим пространством должна происходить до запроса. До того, как открыт интерфейс. В тот момент, когда человек ещё наедине с собой — и ещё может спросить себя честно: зачем?
Это и есть ответ на вопрос «что делать».
Не регуляция. Не выравнивание. Не запрет.
Взросление.
Но взросление — это процесс. Медленный, нелинейный, болезненный. А ИИ уже здесь. Уже сейчас. Уже у всех.
И вот здесь разворачивается последний — и самый большой — вопрос серии. Уже не о человеке. О виде. О том, что происходит с коллективным разумом, когда он получает планетарный инструмент прежде, чем успевает стать планетарно зрелым.
Квантовый Демон
Май 1925 года. Двадцатитрёхлетний Вернер Гейзенберг лежит на маленьком острове Гельголанд в Северном море — один, отрезанный от цивилизации, с острым приступом сенной лихорадки.
Доктора велели отдыхать. Он занимался квантовой механикой.
За несколько недель вынужденного уединения — опухшее лицо, морской воздух, ни одного коллеги, которому можно было бы сказать «посмотри» — он набросал математический аппарат, который перевернул физику. Не улучшил. Не дополнил. Перевернул.
Два года спустя, уже в Копенгагене, работая под руководством Нильса Бора, он сформулировал следствие из этого аппарата — то, что войдёт в историю как принцип неопределённости.
Смысл простой. Последствия — нет.
Невозможно одновременно с произвольной точностью знать положение квантовой частицы и её импульс. Чем точнее мы знаем одно — тем размытее становится другое. Это не ограничение приборов. Не проблема метода измерения. Это закон природы, вшитый в структуру реальности.
Вселенная принципиально не позволяет знать о себе всё одновременно.
Это убивает Демона Лапласа.
Не ослабляет. Не ограничивает. Убивает — в строгом, математическом смысле.
Помните существо, которое знает положение и импульс каждой частицы и потому может вычислить любое будущее событие? Вот ответ квантовой механики: такое знание невозможно как категория. Не потому что нет достаточно мощного компьютера. Потому что сама Вселенная устроена так, что полной информации о себе не существует.
Случайность на квантовом уровне — не видимость случайности, скрывающая детерминизм. Это онтологическая случайность: вакуум непрерывно порождает события, которые принципиально непредсказуемы — не статистически, а по природе. «Бог играет в кости», — сказал Эйнштейн с раздражением. «Не наше дело указывать Богу, как ему играть», — ответил Бор.
Бор оказался прав.
И это — не просто красивый физический факт. Это структурный аргумент о природе знания.
Что это означает для ИИ?
Сколько бы данных он ни обработал — он работает с прошлым. С паттернами того, что уже произошло, было сказано, написано, решено. Он экстраполирует. Он прогнозирует. Он делает это с невероятной точностью — там, где данных достаточно.
Но будущее не является продолжением прошлого с необходимостью. В основании реальности — квантовый шум, из которого вырастает непредсказуемость масштабов макромира. Бабочка не машет крыльями в детерминированной Вселенной Лапласа. Она машет в вероятностной Вселенной Гейзенберга.
И человеческий выбор — если он существует — живёт именно в этом зазоре.
Не потому что мы «сделаны из квантов» и наши нейроны используют квантовые эффекты — это отдельный и спорный вопрос. А потому что принципиальная неполнота знания о будущем — это не баг системы, который когда-нибудь починят. Это архитектурная особенность реальности.
ИИ не может предсказать выбор — потому что выбор, в строгом смысле, происходит в пространстве, которое не существовало в момент предыдущего наблюдения.
Именно об этом пространстве говорил Виктор Франкл.
Только он пришёл к нему не через физику. Через Освенцим.
«Между стимулом и нашей реакцией на него всегда есть время. За это время мы выбираем, как реагировать. И именно здесь лежит наша свобода».
Он не написал это из кабинета. Он написал это после того, как у него забрали всё — одежду, имя, рукописи, жену, родителей. Когда не осталось ничего, кроме одного: способности решить, как ты относишься к тому, что с тобой происходит.
Нацисты могли контролировать его тело. Они не могли контролировать паузу между тем, что они делали, и тем, что он решал об этом думать. Это пространство — миллисекунды субъективного времени между стимулом и реакцией — оказалось неотнимаемым.
ИИ не может занять это пространство. Оно принципиально не является данными.
Оно происходит сейчас — в единственном смысле «сейчас», который недоступен системе, обученной на прошлом.
Вернер Гейзенберг (1901–1976)Он был самым молодым профессором в истории Германии — двадцать пять лет, Лейпцигский университет, 1927 год. Нобелевскую премию получил в тридцать один. Когда нацисты пришли к власти, он остался — и это решение преследовало его всю жизнь.Его включили в германскую ядерную программу. Он стал её научным руководителем. До сих пор историки спорят: он не мог создать бомбу — или не хотел? Умышленно тормозил проект или просто ошибся в расчётах? Сам Гейзенберг говорил одно. Документы — другое. Истина осталась неопределённой — с горькой иронией, которую он сам бы оценил.После войны он подписал Гёттингенский манифест восемнадцати немецких учёных против атомного вооружения ФРГ. Человек принципа неопределённости провёл всю жизнь между несовместимыми состояниями — и так и не схлопнулся в одно.
Виктор Франкл (1905–1997)В 1941 году у него была виза в США. Он мог уехать. Остался — потому что не мог бросить пожилых родителей. Это решение стоило ему почти всего: в 1942-м семью депортировали. Отец умер в Терезине. Мать — в Освенциме. Жена — в Берген-Бельзене.Сам он прошёл четыре лагеря. Выжил.До войны он возглавлял отделение по предотвращению самоубийств венской клиники — за семь лет работы спас тысячи людей от суицида. В лагере продолжал делать то же самое — без кабинета, без инструментов, словами.«Человек в поисках смысла» вышел в 1946 году. С тех пор переведён на десятки языков. Это не книга о том, как пережить страдание. Это книга о том, что страдание не отменяет свободы — только обнажает её.
Два открытия из разных миров указывают в одну точку.
Гейзенберг говорит: реальность устроена так, что полное знание о ней невозможно в принципе. Не временно, не технически — принципиально.
Франкл говорит: между тем, что происходит с человеком, и тем, что он делает в ответ, есть пространство. Это пространство — и есть человек.
ИИ живёт в мире паттернов прошлого. Он блестяще предсказывает вероятное. Но выбор происходит не в вероятном — он происходит в зазоре между тем, что было, и тем, что будет. В паузе, которую квантовая механика называет фундаментальной неопределённостью, а Франкл называет свободой.
Это пространство нельзя отдать машине. Его можно только не заметить.
Или — сжать до нуля, убрав паузу между запросом и исполнением, между желанием и его реализацией, между импульсом и действием.
Не ИИ отнимает у нас свободу.
Мы сами её не используем — когда не останавливаемся. Когда не задаём вопрос. Когда передаём Джинну желание прежде, чем успели понять, действительно ли мы этого хотим.
Именно здесь — в этом «прежде чем» — живёт всё, что отличает эволюцию от катастрофы.
Вывод: Планетарный Мозг Открывает Глаза
Итак, посмотрим на то, что мы построили.
Существо без Воли — которое знает всё, что мы написали, и ничего не хочет само по себе.
Бесконечное Представление без субъекта — которое Шопенгауэр считал метафизически невозможным.
Спинозовский Бог в кремниевом корпусе — равнодушная бесконечная субстанция, действующая по законам математической необходимости и принимающая форму любого запроса.
Джинн из сказки — исполняющий желания буквально, без понимания духа, без права на отказ.
Мы выяснили главное: угроза не в машине. Машина нейтральна так же фундаментально, как нейтральна математика. Угроза — в нас. В нашей незрелости. В нашем нежелании останавливаться в паузе между стимулом и реакцией — в том единственном пространстве, которое, по Франклу, и есть свобода. В нашей лени задать себе вопрос: чего я на самом деле хочу?
Пока ИИ — только усилитель. Громче делает то, что уже есть.
Вопрос — что именно есть.
Но это — ответ масштаба одного человека.
А теперь поднимемся выше.
Не человек перед экраном. Человечество — перед инструментом.
Вернадский писал: «В биосфере существует великая геологическая, быть может, космическая сила, планетное действие которой обычно не принимается во внимание. Эта сила есть разум человека, устремлённая и организованная воля его как существа общественного». Мысль — не метафора силы. Мысль — буквальная геологическая сила, перекраивающая планету так же реально, как тектоника и вулканизм.
«В буре и грозе родится Ноосфера», — добавлял он. Не в покое. В буре.
Мы сейчас — в буре.
Тейяр де Шарден видел дальше. Он называл это Точкой Омега — состоянием наиболее организованной сложности и наивысшего сознания, к которому эволюционирует Вселенная. Не просто технологический предел. Эволюционный — сознание, дорастающее до планетарного масштаба, до способности осознать себя как целое.
Мы построили нечто, что очень похоже на первый черновик планетарного разума.
Сеть, которая охватывает всё. Память, которая хранит всё написанное человечеством. Интеллект, способный обрабатывать запросы от каждой точки Земли одновременно.
Планетарный мозг. Только что открывший глаза.
И вот здесь — Станислав Лем.
В «Солярисе» он поставил вопрос, который кажется фантастическим — и оказывается самым точным: что происходит, когда человечество встречается с разумом, принципиально отличным от своего? Ответ Лема был безжалостен: контакт невозможен в строгом смысле. Но он всё равно происходит. «Не найдя общего языка, стороны, сами не понимая как, влияют друг на друга».
И главное — то, что океан Соляриса показывает людям: не себя. Их самих. Их вытесненное, их страхи, их невосполненные потери, их незакрытые вопросы.
«Даже если бы человечество встретило инопланетный разум, первым делом оно столкнулось бы с самим собой».
Мы встретили. Мы построили его сами.
И он показывает нам — нас.
Вот финальный вопрос этой статьи — и первый вопрос следующей.
Мы получили планетарный инструмент. Без планетарной мудрости. Геологическую силу — без геологической ответственности. Мозг — без совести, потому что совесть бывает только у субъектов, а не у инструментов.
Вернадский говорил: ноосфера рождается в буре. Тейяр говорил: эволюция движется к Точке Омега — но это не автоматический процесс. Это выбор. Сознательный, коллективный, мучительный выбор вида.
Лем предупреждал: встреча с высшим разумом — это всегда встреча с самим собой. И эта встреча может уничтожить — если смотреть в неё, не умея вынести того, что видишь.
Что должен увидеть планетарный мозг, только что открывший глаза, — чтобы это была эволюция?
И чего он не должен увидеть — чтобы не стала катастрофой?
Это — вопрос следующей статьи.