Как доподлинно старые идеи влияют на наше мышление об интеллектуальных машинах
Недавно один из сооснователей OpenAI заявил, что «предсказание следующего токена» в строке текста «означает, что вы понимаете ту реальность, которая привела к созданию этого токена».
Это неверно. Даже для людей способность вести разумный разговор о какой-либо реальности не означает, что мы её действительно понимаем, как показывает вся история опровергнутых научных теорий. Но это тот тип редукционистских суждений, который стал характерным для Силиконовой долины и её взглядов на ИИ. Как однажды написал Аптон Синклер: «Трудно заставить человека понять что-то, если его зарплата зависит от того, чтобы он этого не понимал».
К счастью, моя зарплата не зависит от моих убеждений о возможностях ИИ. Хотя, в некоторой степени, она, возможно, и зависит от того, насколько люди понимают ИИ и доверяют ему настолько, чтобы использовать его ответственно. Поэтому давайте рассмотрим три распространённых заблуждения об ИИ и сознании, а также разберёмся, означает ли способность ИИ понимать проблемы, для решения которых он создан, нечто похожее на то, что мы называем «сознанием».
Неправильно поставленный вопрос
Первое крупное заблуждение о сознании ИИ проистекает из самого вопроса, который чаще всего звучит в наших дебатах: «Обладает ли ИИ сознанием?»
Сама постановка этого вопроса подразумевает ответ «да» или «нет», как будто сознание — это что-то либо присутствующее, либо отсутствующее. Но разве сознание так работает? А что, если это не бинарное свойство, а спектр? Когда мы смотрим на разнообразие живых существ, на множество форм жизни и уровней интеллекта, разве легко уложить всё это многообразие в категорию «сознателен/несознателен»?
Мне кажется, идея о том, что живые существа либо обладают сознанием, либо нет — это наследие западной философской традиции, восходящей от Платона и Аристотеля к Фоме Аквинскому и Декарту. Человек — это «разумное животное». Его душа, дух — это источник разума и источник сознания. Животные же, напротив, всего лишь автоматы, движимые чистым инстинктом.
Но я никогда не верил, что у животных нет субъективного опыта. И всегда подозревал, что наша собственная субъективность гораздо сложнее, чем предполагает эта бинарная модель.
В своей книге «Принципы психологии» Уильям Джеймс утверждал, что, скорее всего, у человека больше инстинктов, чем у других животных. По его мнению, исполнительная функция сознания возникает из необходимости выбирать между несколькими противоречивыми импульсами. Действовать «по шаблону» гораздо эффективнее — инстинкт вполне способен это обеспечить. Только когда инстинкты тянут нас в разные стороны, возникает необходимость остановиться, взвесить варианты, спланировать и принять решение.
Иными словами, сознание — это не обязательно «хорошая вещь», если вы в нём не нуждаетесь. В своём романе «Ослепление» (Blindsight) писатель-фантаст Питер Уоттс предполагает, что человеческое сознание — это, возможно, эволюционная случайность. Инопланетяне, с которыми сталкиваются герои книги, ведут себя скорее как большие языковые модели: они быстро потребляют информацию и выдают ответы — без всякого ощущения «я» за этими вычислениями. Я не обязательно согласен с таким выводом, но думаю, что Уоттс прав, ставя под сомнение идею о неразрывной связи между сознанием и разумом.
Если мы будем рассматривать сознание как продукт эволюционного обмена выгодами и затратами — затрат времени и энергии здесь, экономии там — мы сможем задать более интересные вопросы о существах, для которых такие компромиссы имеют смысл.
Например, трудно понять, зачем сознание нужно растениям или грибам. Деревья прочно укоренены, они приспособлены выдерживать смену сезонов и нападения животных. Они не могут убежать от условий своей среды — значит, им незачем на неё активно реагировать.
Животные же физиологически устроены так, чтобы быть внимательными. У них есть органы чувств и центральная нервная система, которая обрабатывает сигналы и производит поведенческие реакции. Но и среди животных не все нуждаются в одинаковом уровне осознанности.
Короткоживущие виды, производящие сотни или тысячи потомков, могут полагаться исключительно на инстинкты, чтобы хотя бы часть следующего поколения успела размножиться.
Животные с более долгой жизнью чаще вынуждены планировать. Особенно это касается хищников — им нужно просчитывать реакцию добычи, оценивать стратегии и последствия действий.
Но самые сложные внутренние миры формируются у долгоживущих социальных животных. Им нужно держать в голове сложные модели поведения других существ — друзей, соперников, партнёров, членов семьи. Возможно, ощущение «я» возникает как продолжение этой способности — когда животное начинает моделировать само себя в контексте своих планов и решений.
Если сознание — это эволюционный механизм для наблюдения и осмысления всё более сложной социальной и экологической реальности, то в случае с ИИ уместно спросить: а какие у него драйверы эволюции?
Человеческий мозг не может выполнять сложные стратегические расчёты так быстро, как машина. Люди, например, играют в шахматы с помощью «чанкования» — видения доски как набора значимых паттернов. Мы используем упрощённые модели и аналогии с прошлым опытом, чтобы сделать вывод о текущем.
Но если машины могут делать такие расчёты без задержек, зачем им вообще моделировать окружающую среду, а тем более — самих себя? Если это не приводит к более эффективным решениям — зачем тратить на это ресурсы?
Сознание не появляется в один момент
Второе заблуждение — что сознание возникает внезапно, как только уровень когнитивной сложности переходит определённый порог. Как зеркала: одно зеркало даёт одно отражение, а два, поставленных друг напротив друга, создают бесконечную регрессию.
Идея в том, что как только существо начинает осознавать себя — даже в минимальной степени — запускается цепочка размышлений о себе, размышлений о размышлениях о себе и так далее. В результате возникает цельное «я», отделённое от остального мира.
Нам, существам вроде нас самих, это кажется естественным. Исторически мы ценили мыслителей, льстящих нашим предвзятостям. Например, «Cogito, ergo sum» Декарта («мыслю, следовательно, существую») содержит доказательство уже в самом предположении — ведь «cogito» значит «я мыслю». «Я» уже содержится в исходной посылке.
Малоизвестный современник Декарта, Пьер Гассенди, указал на это: максимум, на что мы вправе рассчитывать — это утверждение, что «мышление происходит». Кто его совершает — уже лишнее предположение. Но имя Гассенди и его аргумент сегодня почти забыты.
А ведь он был прав. Подумайте, как часто мы бываем чужими сами себе, поступаем по причинам, которые могут объяснить только друзья или психотерапевт. Рассказ Дэвида Фостера Уоллеса Oblivion как раз об этом: читая его, мы постепенно начинаем осознавать, что не стоит доверять рассказчику, и собираем подлинную историю сами — о самобмане и множественности нашего «я».
Сознание — это не вспышка, возникающая при определённой сложности нейросети. Это, скорее, то, что философ Анри Бергсон называл «пустотой».
«Всякое действие стремится получить то, в чём мы ощущаем нехватку, или создать то, чего ещё нет», — писал Бергсон в «Творческой эволюции». Чтобы распознать наличие чего-то, достаточно восприятия. Но чтобы распознать отсутствие — требуется мышление второго порядка. Увидеть, что солнце на небе — просто. Увидеть, что там, где должно быть солнце, теперь чёрная дыра — это суждение о суждении.
Эта идея великолепно показана в фильме Апокалипто (2006). В одной сцене старик рассказывает у костра, как первый человек был печален. Животные пытались развеселить его: гриф дал свои глаза, ягуар — силу, змея — тайны земли. Всё, чтобы он стал счастлив.
Но сова сказала: «Нет. Я увидела в человеке дыру — голод, который он никогда не насытит. Это делает его печальным и заставляет желать. Он будет брать и брать, пока однажды Мир не скажет: „Меня больше нет, мне нечего дать“.»
Эта пустота, я считаю, — суть сознания. Она требует быть заполненной. И мы заполняем её символическими конструкциями: языком, религией, политикой, историями. Одной из них становится наше «я». И сохранение этой идентичности — ещё один фактор при принятии моральных и политических решений.
Так что главный вопрос об ИИ: испытывает ли он эту пустоту?
Я не уверен, но думаю, что нет. По крайней мере, пока. Возьмём, например, ChatGPT. Вы даёте ему задание — он даёт осмысленный ответ. А потом мгновенно впадает в полную неактивность.
Попробуйте сами очистить разум от всех мыслей — это очень сложно. Люди учатся медитировать, ходят на ретриты, чтобы хотя бы на мгновение пережить нирваническое «ничто», которое для ИИ — состояние по умолчанию, когда он не занят.
Это трудно, потому что противоречит самой природе жизни. Живое существо — это комплекс процессов, поддерживающих гомеостаз вдали от термодинамического равновесия. Эти процессы непрерывны, пока мы живы.
Человек заполняет этот «материальный дефицит» символическими структурами, стремясь осмыслить его. А ИИ? Его базовые процессы уже символичны, и строго заданы кодом. Потому-то он может находиться в бездействии — и мгновенно снова в него возвращаться.
Языковая игра
Последнее заблуждение — это предположение, что владение языком означает наличие сознания. Это разновидность теста Тьюринга, где языковая компетентность приравнивается к интеллекту.
Но выше мы уже увидели, что между интеллектом и сознанием нет необходимой связи. Что-то может быть умным в одной области и совершенно беспомощным в другой. Шахматные движки играют в шахматы прекрасно. Но они не могут объяснить свои ходы или обсудить политику.
Большие языковые модели кажутся другими. Возможность говорить разумно почти на любую тему выглядит как универсальный интеллект. Но не забывайте: LLM генерирует текст, делая индуктивные выводы из обучающих данных, предсказывая наиболее вероятный следующий токен.
Это не то, как люди разговаривают. Мы строим модели мира и интерпретируем чужие модели. Мы спорим, формулируем аргументы, отстаиваем взгляды. Мы отождествляем себя с этими моделями.
Можно ли сказать то же о ИИ? Я сомневаюсь.
Недавно я проходил онлайн-обучение. Видео было озвучено ИИ. Его голос был уже довольно натурален — гораздо лучше, чем у Alexa или старых ботов. Но всё же… неестественность ритма, проблемы с труднопроизносимыми словами. Название компании, например, произносилось двумя разными способами.
Человек бы выбрал один вариант и придерживался его — пока его не поправят. Мы помним. Мы выбираем то, что «кажется правильным», потому что наш опыт, память, идентичность говорят об этом.
А ИИ? Он строит речь на вероятностях. У него нет «ощущения правильности». Как шахматный бот делает ходы без мнения, так и LLM не говорит на языке — он играет в языковую игру.
Заключение
Возможно, лучшее, что принесёт революция ИИ — это критический пересмотр таких понятий, как сознание. Как я постарался показать, ИИ может и обладает неким сознанием, а может и нет. Но мы точно не поймём этого, пока не поймём, что именно значит «обладать сознанием», и зачем оно нужно.
Ответы на эти вопросы помогут нам внимательнее относиться к субъективному опыту других животных и быть скромнее в оценке самих себя. По крайней мере, не стоит спешить закрывать древние философские споры только ради выгоды узкой группы людей в одном уголке нашей цивилизации.
Если вы хотите читать больше интересных историй, подпишитесь на наш телеграм канал: https://t.me/deep_cosmos