Восстания машин
никто не услышит:
нас просто
оболванят
нейросети.
«Мы стоим на пороге когнитивной катастрофы, которая маскируется под технический прогресс», — так начинается очерк, созданный нейромоделью по итогам дискуссии с ней же о влиянии на человечество повсеместного злоупотребления возможностями больших языковых моделей.
Концепция «мёртвого интернета» (Dead Internet Theory) из маргинальной теории заговора превращается в наблюдаемую реальность. Речь идёт не просто об изоляции отдельных сегментов сети вроде мифического «Чебурнета» (гипотетический полностью изолированный российский сегмент интернета), а о глобальной мутации самой среды нашего обитания — информационной сферы. Главный агент этих изменений — искусственный интеллект, который незаметно становится не только инструментом, но и основным «населением» сети. Последствия этого процесса для лингвистики и когнитивного развития человечества могут быть необратимыми.
С точки зрения когнитивных наук, язык — это не просто средство коммуникации, а фундаментальный инструмент мышления. Согласно гипотезе лингвистической относительности Сепира — Уорфа, структура языка влияет на восприятие мира, воззрения и когнитивные процессы его носителей. Не секрет, что народы, говорящие на разных языках, по-разному расценивают многие понятия: количество, пространство, время и даже собственность. Мы учимся мыслить, структурировать реальность и передавать опыт посредством языка, который с младенчества впитываем из окружающей культурной среды. Так случилось, что сегодня этой средой становится глобальная сеть, донельзя набитая ботами, и, в связи с этим, сам собой возникает вопрос: что происходит, когда основным «говорящим» в этой среде становится не человек, а алгоритм?
Истоки проблемы — в так называемой экономике внимания. Она диктует жёсткие правила: контента должно быть много, он должен быть дешёвым и предсказуемо вовлекающим. Люди как производители контента слишком медленны, дороги и непредсказуемы. Идеальный работник информационной фабрики сегодня — это генеративная нейросеть. Она заполняет ленты новостей, пишет комментарии, создаёт видео и даже имитирует дружеское общение в личных сообщениях. Так формируется феномен, который можно назвать «лингвистическим зомбированием»: язык существует, он правильный, связный, но он лишён живого намерения, замысла, внутреннего опыта и культурного подтекста. Это симулякр общения — подобие, которого на самом деле не существует.
Каковы же когнитивные последствия жизни в среде, где большинство речевых актов совершается машинами? Наблюдаются три ключевых угрозы.
Во-первых, «энтропия языка» или его «бежевое усреднение». Обучаясь на гигантских массивах текстов, ИИ вычисляет и воспроизводит наиболее вероятные, статистически средние сочетания слов. Он избегает редких метафор, сложных синтаксических конструкций и, главное, истинной многозначности, которая требует понимания контекста и намерений говорящего. Постоянно потребляя такой «стерильный» контент, мозг нового поколения может утрачивать нейропластичность, необходимую для понимания сложных, нелинейных текстов. Язык из инструмента познания превращается в инструмент маркировки, клише.
Статья «Гомогенизирующий эффект больших языковых моделей на человеческое самовыражение и мышление», вышедшая недавно в CelPress говорит, что ИИ создаёт иллюзию продуктивности. Авторы акцентируют, что хоть отдельный человек и может теперь генерировать больше текста, но на уровне коллектива происходит каскадный спад креативности, разнообразия, качества и даже количества результатов. Как показывают исследования, группы, использующие большие языковые модели, выдвигают «меньше идей, и они менее креативны, чем когда просто объединяют свои [именно «свои»!] коллективные усилия». Мы меняем живой, спонтанный, полный нюансов обмен мыслями на поток стерильного, правильного, но одинакового текста. Ответственность за творчество постепенно переходит от человека к модели, которая предлагает «достаточно хорошие» варианты, убивая тем самым саму необходимость поиска собственных.
Вторым планом выступает элементарный кризис доверия — фундамента не только межличностного, но и межгруппового сотрудничества. Доверие к авторитету или просто собеседнику является важнейшим механизмом обучения: ребёнок учится, веря взрослому, а взрослые – веря книгам. В сети, кишащей ботами, этот механизм даёт сбой. Если невозможно отличить живого человека от ИИ, обесценивается сам акт коммуникации. Мы перестаём доверять тексту как таковому, что ведёт либо к наивному принятию всего за чистую монету, либо к тотальному цинизму и отрицанию любой объективной реальности. Формируется поколение, для которого любой нарратив — лишь один из потоков данных, не имеющих отношения к истине.
И, наконец, самое тревожное: появление необходимости доказать, что вы – не робот. Это обусловливает возникновение «цифрового диглоссия», когда, в ответ на засилье шаблонной речи, люди, особенно в замкнутых сообществах, начинают изобретать язык-контрамарку, непонятный для ИИ. Сложный сленг, намеренные орфографические ошибки, гипертекстуальные (с отсылками на авторство) мемы, намёки на узкий культурный контекст — всё это способы доказать: «я живой». В долгосрочной перспективе это может привести к расколу: публичный, «большой» язык интернета, управляемый ИИ и используемый для коммерции и бюрократии, и приватные, быстро меняющиеся «малые» языки человеческого общения.
Перспективы у этого бегства невесёлые, ибо машины будут быстро осваивать новый лексикон в каких угодно масштабах. Со временем человек устаёт не только кому-то что-то доказывать, но и требовать от кого-то доказательств. Мы привыкнем, и будем жить и действовать в условиях ещё большей неопределённости, где рассчитывать сможем только на себя и тех, кого можем видеть рядом, а не через экран. Эта повальная подозрительность скажется на методах осуществления государственной власти их ужесточением, поскольку убедить гражданина, который уверен, что ему врут, не представляется возможным.
Проекты по созданию суверенных сегментов интернета вроде гипотетического «Чебурнета» лишь обостряют эти риски. В изолированной среде, где контроль над дискурсом становится государственной задачей, наполнение сети ботами может стать инструментом управления. Искусственный интеллект будет не просто симулировать общение, а формировать нужный тип дискурса, вытесняя живую, спонтанную и критическую мысль на периферию или вовсе за пределы сети.
«Проблема не только в том, что большие языковые модели влияют на то, как люди пишут и говорят, но и в том, что они незаметно меняют представление о том, что считается достоверным высказыванием, верной точкой зрения или даже логичным рассуждением», — говорит специалист по информатике Живар Сурати из Университета Южной Калифорнии.
Человеческий язык — самая сложная и адаптивная система из известных нам. Он пережил тысячелетия войн и миграций. Но вызов, который бросает ему «мёртвый интернет», беспрецедентен. Впервые язык рискует потерять своего главного носителя — человека, — оставшись в руках машин, которые имитируют его форму, не имея доступа к его смыслу. И от того, сможем ли мы сохранить за собой право говорить по-человечески, зависит не только культура, но и сама когнитивная идентичность нашего вида.
Послесловие.
Данная статья – результат слегка подкорректированной нейросетевой генерации, созданной по итогам беседы с той же моделью, которая её — статью — написала. Написанный человеком текст на эту тему был менее тревожным и апокалиптичным. Правда, он был также и не в пример менее структурированным и более разрозненным, что, возможно, стало следствием несколько большей широты охвата, вызванной желанием «объять необъятное».
Всё это к чему… Стоит ли нам бояться искусственного интеллекта? Наверное, нет. Это всё равно, что бояться молотка. Но нам почти жизненно необходимо научиться управлять его влиянием на нас. Засилье ботов в глобальной сети — это не просто технический или лингвистический казус. Это грозит стать вызовом нашей когнитивной идентичности, и от того, сможем ли мы сохранить силы (и даже, возможно, право) на уникальный, нестандартный, а иногда и «неправильный» способ думать и говорить, зависит слишком многое. Какое глобальное направление мы зададим нашему же будущему? Останемся ли мы свободными умами или превратимся в ретрансляторов усреднённого машинного сигнала в океане бездушных симуляций живых мыслей?