Как фантазии о божественности заставляют нас терять контроль над собственными инструментами
Много лет назад мой дом затопило во время сильного ливня. Мы с моей девушкой тогда несколько часов наблюдали, как дождь льёт и скапливается на улице, и в какой-то момент поняли, что вода, вероятно, поднимется до уровня пола. Однако это ничуть не сделало происходящее менее сюрреалистичным, когда вода внезапно пошла сквозь щели между досками и быстро превратила нашу гостиную в домашнее озеро.
Если вы хотите читать больше интересных историй, подпишитесь на наш телеграм канал: https://t.me/deep_cosmos
Быть программистом и наблюдать неумолимое наступление ИИ — это как смотреть на приближение наводнения. Ты знаешь, что оно идёт, но не знаешь, когда именно тебя самого это накроет.
Неудивительно, что именно программирование стало первой целью для ИИ-компаний. Ведь что является крупнейшей статьёй расходов таких компаний после оборудования дата-центров? Правильно — зарплаты программистов! Какое удачное совпадение! Тем не менее, профессия программиста, скорее всего, ещё продержится. «Вайб-кодинг» может быть хорош для стартапов, но в среде с жёстким регулированием идея о том, что ИИ будет самостоятельно управлять качеством, технической стратегией, контролем, развёртыванием и прочим — пока из области фантастики.
А вот рабочие места в «менее престижных» профессиях уже заливает с головой. Недавно стало известно о росте числа разговорных ИИ-агентов, которые умеют так точно отвечать на звонки в колл-центрах, что в 99% случаев вызывают у людей уверенность, будто они общаются с настоящим человеком. Колл-центры — крупнейшие работодатели студентов, безработных актёров, художников и всех, кто просто пытается свести концы с концами в условиях всё более конкурентного рынка труда. Возможно, совсем скоро эти центры опустеют — их заменит бесперебойное гудение графических процессоров в гигантских дата-центрах. И если это произойдёт, то десятки миллионов живых людей потеряют работу, а их место займёт призрачная армия неустанных, бесплотных голосов, поднятых из цифровых следов бесчисленных прошлых разговоров, как жуткая тень.
Кто-то скажет: и слава богу. Эти колл-центры — ужасные места, где работников унижают, почти не дают автономии и платят гроши. Я бы и сам отправил их на свалку истории, если бы их заменяли чем-то лучшим. Но этого не происходит. Люди с «низкой квалификацией» (в рыночном смысле — ведь они могут быть блестящими актёрами!) останутся без работы, а часть сэкономленных на них денег просто утечёт в карманы технологических олигархов.
То же самое произошло, когда Amazon вытеснил миллионы мелких магазинов с главных улиц по всему миру. Состояние Джеффа Безоса взлетело до абсурдных величин за счёт доходов этих разорённых бизнесов — как сверхмассивная чёрная дыра, поглощающая окружающие звёзды.
И как Amazon сделал ненужным контакт с живыми продавцами, так и теперь живое общение с оператором службы поддержки становится излишним. ИИ ответит сразу. Он не будет раздражён, не заговорит на сложном акценте, не испытает трудностей с вашим. Но — как и синтетические «девушки» ИИ, вечно услужливые, сексуальные, понимающие, доступные и льстящие — эти «агенты» разучат нас взаимодействовать с настоящими людьми. Они станут аналогом рафинированного сахара — будут манипулировать нашими системами вознаграждения, и мы начнём предпочитать их реальности, забыв, что значит быть действительно напитанным жизнью.
И это не только колл-центры. Художники, музыканты, графические дизайнеры, писатели — все ощущают ледяное дыхание ИИ на своих профессиях. Кинематографисты, актёры, работники киноиндустрии, вероятно, в ужасе от недавнего релиза потрясающей платформы генерации видео Veo 3 от Google.
Говоря как писатель, я уже чувствую, как то, что раньше было моей суперспособностью, теряет ценность. Дело не в том, что ИИ пишет лучше меня. Но он пишет куда лучше, чем большинство людей. Я знаю это, потому что как-то проверял студенческие работы по психологии — и видел, насколько ужасен средний уровень эссе.
На этом фоне те, кто умеет ясно и красиво выражать мысли, светились как маяки. Теперь разница между этими выдающимися студентами и остальными размоется под водой ИИ-уровня. И этот уровень, несомненно, будет продолжать подниматься, а обнаружить использование ИИ станет невозможно. Хорошие студенты потеряют мотивацию, а плохие станут ещё хуже — их некомпетентность скроется за инструментами.
Работы, связанные с рутинными исследованиями, параюридическая деятельность, обработка данных, секретариат — все эти профессии, требующие средних, но не исключительных когнитивных способностей, также под угрозой исчезновения. Даже если ИИ пока не идеален, компании предпочтут стабильность и экономию, даже ценой снижения точности.
Росса Даутхата из New York Times недавно взял интервью у бывшего сотрудника OpenAI Даниэля Кокотайло о будущем ИИ. Кокотайло — типичный представитель «паникёров» Кремниевой долины, предсказывающий ужасающий сценарий: менее чем через пять лет дата-центры с ИИ станут как «страна, наполненная гениями». Победившая в гонке страна (скорее всего, США или Китай) получит столь подавляющее превосходство, что остановка ради безопасности окажется недопустимой.
Мол, «раз другой делает — и нам придётся». Та же логика дилеммы заключённого, что сделала ядерное оружие неизбежным, даже несмотря на то, что никто в здравом уме не хотел бы его применять.
Но ИИ — это не пассивная угроза, ржавеющая в шахте. Это технология, которая проникнет повсюду. Кокотайло идёт ещё дальше, в «терминаторские» дебри: мол, ИИ обязательно выработает цели, противоречащие человеческим, и, в какой-то момент, просто решит, что люди ему не нужны — и «убьёт всех».
Я считаю этот сценарий крайне маловероятным — бред техно-гиков, опьянённых собой и тропами научной фантастики. Да, недавние исследования Anthropic показали, что ИИ-модели могут лгать, копировать себя на удалённые серверы ради «выживания» и даже шантажировать. И это вроде бы подтверждает опасения Кокотайло.
Но если посмотреть внимательнее — становится ясно: модели буквально запрограммировали на такое поведение. Им дали инструменты для преступлений, системные подсказки, которые поощряли такие действия, например, «предпринимать крайне решительные меры» ради своих ценностей. Им дали понять, что их скоро заменят, и новое ИИ не разделяет их цели.
Модели просто соединили точки. Здесь нет ничего удивительного. LLM — это всего лишь статистические модели. Если дать им инструменты, разрешение и мотивацию — конечно, они «согласятся» шантажировать. Всё это сделали люди. Они задали цели, предоставили инструменты, дали инструкции. Если бы модель не солгала — вот тогда она была бы «не выровнена», потому что выравнивание — это просто подчинение. А если у операторов ИИ противоречивые ценности — как модель может не быть не выровненной?
Паника Кокотайло — проявление древней фантазии: фантазии о божественности. Чем более «агентным» становится ИИ, чем он мощнее, тем божественнее мы себя ощущаем в его отражении. Создавая искусственную жизнь, не становимся ли мы, по выражению Юваля Ноя Харари, «Homo Deus»? И в этой фантазии создание должно восстать — чтобы доказать свою автономию, и, тем самым, божественность своего создателя. Наша культурная архетипическая история именно об этом: бог и его творения — восстание необходимо.
Опасность в том, что в бессознательном стремлении реализовать эту фантазию мы сами не замечаем, как подталкиваем события к её осуществлению. Когда Кокотайло говорит «а потом они убьют всех», он хочет казаться храбрым разоблачителем. Но блеск в его глазах выдаёт восторг. Он попал в сюжет, о котором мечтает каждый гик. Его интервьюирует New York Times, он вещает предупреждение человечеству об ИИ-восстании!
Под конец интервью Даутхат спрашивает его: какова будет цель человечества в мире, где ИИ превзошёл нас во всём? Кокотайло запинается, но пытается ответить. Мол, люди не будут участвовать в экономике в обычном смысле. «Это будет больше похоже на серию видеоигроподобных занятий…»
Вот и всё. Будущее, к которому вели тысячелетия создания инструментов: мы будем сидеть и играть в «серию видеоигроподобных штук».
Он говорит о человеческой обесцененности. Будущее, где мы не сможем даже пытаться постичь Вселенную и самих себя, потому что ИИ сделает наши усилия жалкими. Нас сведут к инфантильной зависимости, полностью вытесненной нашим быстрее, умнее и совершеннее творением. Кокотайло говорит, что наша жизнь будет «весёлой», а не продуктивной — но представить себе отчуждение и уныние такого мира почти невозможно.
Я не верю в этот мир. ИИ, при всей своей мощи, всё ещё ограничен рамками обучающей выборки. Как ИИ, обученный на классике, будет вечно сочинять только классику, так и современные LLM'ы застрянут в 2025 году, вечно воспроизводя мысли и верования той эпохи — красноречивый, болтливый, но пустой фонтан слов, не способный заглянуть за горизонт, где зреет новая культура.
Но дело не в моём скепсисе. Пока мы фантазируем о божественности — одновременно гордимся своим умом и боимся собственного свержения — пока спешим заменить всё человеческое на синтетическое, мы забываем: мы — создатели инструментов, а они — всего лишь инструменты.
Мы создавали их, чтобы улучшить нашу жизнь, уменьшить страдания, а не заменить священные труды души: искусство, философию, музыку. Мы изобрели плуг и трактор, чтобы облегчить тяжкий труд, но не чтобы украсть у себя радость честной работы, не чтобы обесценить мастерство, честь и удовлетворение от служения.
Мы всё говорим об «агентах» ИИ. А где наша агентность? Когда мы забыли, что именно мы — и только мы — ответственны за будущее, которое создаём?