В отношениях человека и ИИ ценность заключается не внутри машины, не внутри черепа, а в конфигурации между ними.
Автор: Бартон Фридланд
Сознание — это свойство жизни, а не вычислений. Мозги — это не машины Тьюринга, сделанные из плоти. Моделирование не создается. Электромагнитные поля, самоподдерживающаяся организация, постоянная биологическая работа по поддержанию порядка против распада — ничто из этого не может быть точно воспроизведено в кремнии.
Это аргумент нейробиолога Анила Сета в его эссе «Мифология сознательного ИИ», удостоенном премии Берггрюена.
Читатель заканчивает чтение с чувством успокоения: ИИ не обладает сознанием. Либерально-гуманистический порядок остается нетронутым: люди наверху, машины — инструменты, сознание надежно заключено в биологических мембранах. Ничто не было нарушено, кроме заявлений нескольких чрезмерно возбужденных технологов.
Но что это говорит нам о том, что делать в понедельник утром?
Эссе не говорит нам о том, что производит отношения человека и ИИ. Оно не говорит нам о ценности такой структуры. Оно не говорит нам о том, что теряется, когда мы ошибаемся. И, что особенно важно, оно не говорит нам о том, разрушаем ли мы сами условия, в которых развивается человеческий интеллект, одновременно обсуждая, могут ли машины чувствовать.
Интеллект — это действие, отмечает Сет, а сознание — это бытие — различие, которое слишком часто замалчивается. Объединение интеллекта с сознанием — предположение, что всё достаточно умное должно также обладать сознанием — это именно та концептуальная ошибка, которая порождает фантазии о разумных чат-ботах и тревоги по поводу страданий роботов.
Но, разрушив одну бинарную оппозицию, Сет устанавливает другую. Его эссе работает в рамках, где свойства принадлежат либо биологическим организмам, либо вычислительным системам. Сознание — биологическое. Вычисления — алгоритмические. Вопрос в том, может ли одно породить другое. Ответ, как убедительно доказывает Сет, вероятно, отрицательный.
Более 50 лет назад три публикации смогли преодолеть эту дихотомию: «Расширение человеческого интеллекта» Дугласа Энгельбарта, «Симбиоз человека и компьютера» Дж. К. Р. Ликлидера и «Компьютерная библиотека/Машины мечты» Теда Нельсона. В каждой из них рассматривались вычислительные структуры, призванные углублять, а не обходить человеческое мышление, и задавался именно тот вопрос, до которого не может дотянуться концепция Сета: что возникает, когда человеческие возможности и вычислительная мощность объединяются, а не заменяют друг друга? Похоже, что область, претендующая на расширение человеческих возможностей, не читала работы, определяющие, что такое расширение.
Когда человек работает с системой ИИ — когда рентгенолог анализирует снимки с помощью диагностического инструмента, когда аналитик строит финансовую модель с помощью вычислительного партнера, когда архитектор тестирует структурные вариации с помощью генеративной системы — возникает нечто, чего нет ни у одного из участников. Это не сознание. Машина ничего не чувствует. Но это и не просто вычисления. Это реализуемая интеллектуальная деятельность: ситуативная, распределенная, направленная и не сводимая ни к одной из сторон.
Когнитивная наука, на которую ссылается Сет — традиция 4E воплощенного, встроенного, реализуемого и расширенного познания — прямо указывает на эту область. Эксперты в области сознания продемонстрировали, что познание распределено между людьми, инструментами и окружающей средой; что разумное действие — это не выполнение заранее составленных планов, а непрерывный ответ на разворачивающиеся ситуации; и что разум простирается за пределы черепа, в инструменты и технологии, с которыми он взаимодействует. Это не маргинальные позиции. Они представляют собой доминирующее движение в современной когнитивной науке.
Сет использует эту литературу, чтобы доказать, что сознание не может быть независимым от субстрата — что тело имеет значение, что нельзя абстрагировать разум от живой системы, которая его производит. Он прав, сделав такой вывод. Но он так и не проходит через дверь, которую он открывает. Если познание распределено, реализуемо и расширено, то соответствующей единицей анализа является не отдельный мозг (биологический или искусственный), а конфигурация, в которой работает интеллект. Вопрос не в том, обладает ли машина сознанием. Вопрос в том, что производит данная конфигурация — и сохраняем ли мы или разрушаем условия, при которых она работает эффективно.
Если ИИ не обладает сознанием — если он не предлагает никакого внутреннего смысла, не имеет внутренней ориентации, не поддерживает автономного понимания — то каждый акт сотрудничества человека и ИИ предъявляет к участнику-человеку определенные требования. Человек должен постоянно проецировать, проверять и стабилизировать смысл в поле сотрудничества. Контекст меняется. Согласованность сглаживается. Результаты, которые казались соответствующими намерениям человека, незаметно расходятся. Человек должен замечать это, перенаправлять и корректировать. Это не ошибка современных систем ИИ, которую можно исправить с помощью более совершенной инженерии. Это постоянная структурная особенность работы с объектами, которые обрабатывают информацию без понимания.
Любой, кто серьезно работает с системами ИИ, хорошо это знает. Этот опыт требует значительных когнитивных усилий. Он требует постоянного внимания, интерпретационного суждения и особого рода присутствия — готовности сохранять смысл неизменным в взаимодействиях, которые его не обеспечивают. Это, в точном смысле этого слова, работа: непрерывный когнитивный труд по поддержанию согласованности в поле, которое не дает никаких гарантий ее наличия. И вот что скрывает дискуссия о сознании: эта работа имеет экономическую ценность.
В рандомизированном клиническом исследовании, проведенном дистанционно и очно в Стэнфорде, Медицинском центре Бет Израэль Диконесс и Университете Вирджинии, врачи, получившие доступ к GPT-4 наряду с традиционными диагностическими ресурсами, не были точнее в своих диагнозах, чем врачи без него — даже несмотря на то, что GPT-4 сам по себе превзошел обе группы более чем на 15%. Тот же ИИ. Та же клиническая задача. Никакой значимой измеримой пользы — потому что схема была наивной: технология была просто добавлена к существующим рабочим процессам без какого-либо запланированного взаимодействия, структурированного диалога, без сохранения независимого мышления врача.
Когда сотрудничество было перепроектировано — требуя от врача и ИИ генерировать независимые оценки, а затем структурировать диалог, который выявлял разногласия и учитывал рассуждения врача, — точность диагностики выросла с 75% без ИИ до 82–85% с использованием совместного ИИ. Разница заключалась не в данных. Все дело было в качестве взаимодействия человека и ИИ: сохранялось ли, усиливалось и улучшалось ли человеческое суждение благодаря сотрудничеству, или же оно игнорировалось, сглаживалось и в конечном итоге разрушалось.
Исследователи из Стокгольмской школы экономики и Женевского университета, а также другие, применили одну и ту же систему ИИ к специалистам по продажам фармацевтической продукции. Результаты были поразительными. Когда система была адаптирована к когнитивному стилю эксперта — структурируя полномочия, рабочие процессы и стимулы для сохранения экспертного суждения — в среднем количество встреч с клиентами увеличилось более чем на 40%, а продажи выросли на 16%. Когда та же система была внедрена без учета того, как думает человек, продажи упали примерно на 20% по сравнению с базовым уровнем без ИИ. Хуже, чем полное отсутствие ИИ.
В стратегическом консалтинге доказательства приобретают более острый характер. Исследователи из Гарварда, Массачусетского технологического института, Уортона и Уорика изучили 758 консультантов Boston Consulting Group (BCG), работающих с ИИ и без него. В задачах, с которыми ИИ справлялся хорошо, те, кто работал с ИИ, в среднем показывали на 12% более высокий процент выполнения, завершали работу на 25% быстрее и получали на 40% более качественные результаты. Но в задачах, требующих такого рода суждений, которые ИИ обрабатывает, не обладая ими, консультанты с помощью ИИ показывали значительно худшие результаты, чем те, кто работал в одиночку. Подвела не технология, а сама организация работы. Когда люди полагались на вычислительные возможности в задачах, где человеческое суждение было наиболее необходимо, сотрудничество становилось обузой.
У военных для этого есть название. Специалисты по оборонной стратегии различают системы «кентавров», где человек руководит, а машина выполняет, и системы «минотавров», где ИИ руководит, а человек выполняет его рекомендации. Словарь яркий, но он скрывает ложный выбор. Исследователь ИИ Итан Моллик, один из авторов исследования BCG, отмечает на своей странице в Substack, что «кентавры», которые поддерживали четкое разделение труда, хорошо справлялись с задачами, выполняемыми с помощью ИИ, где у «кентавра» было больше опыта, а для задач, требующих навыков на грани возможностей ИИ, хорошо себя показали «киборги», которые настолько глубоко интегрировались с ИИ, что граница между вкладом человека и машины размылась.
Наихудшие результаты были у тех, кто, по словам Моллика, «заснул за рулем», уступая право суждения системе именно тогда, когда это было наиболее необходимо. Люси Сачман, изучающая взаимодействие человека и компьютера, утверждает, что автономия — это свойство не человека или машины, а конфигураций, в которых они работают. Дихотомия кентавра и минотавра рушится в тот момент, когда вы воспринимаете это всерьез. Вопрос не в том, кто главный. Вопрос в том, сохраняет ли данная конфигурация условия, при которых человеческое суждение остается активным, направленным и способным вмешиваться, когда система отклоняется от нормы.
Отсутствие сознания в ИИ — это не просто философское открытие. Это условие проектирования с измеримыми экономическими последствиями. Это означает, что каждая система «человек-ИИ» должна быть спроектирована таким образом, чтобы сохранять способность человека к смыслообразованию, суждению и поддержанию связности, потому что никто другой в этой системе этого не сделает.
Сет называет одну из мифологий: чрезмерное приписывание сознания машинам. Вера в то, что большие языковые модели (БЯМ) обладают сознанием, что чат-боты имеют внутреннюю жизнь, что мы стоим на пороге искусственного сознания — это, как утверждает Сет, путаница, порожденная антропоморфизмом, парейдолией и соблазнительной силой языка имитировать внутренний мир, которым он не обладает.
Отсутствие сознания в ИИ — это не просто философское открытие. Но существует и вторая мифология, столь же опасная и гораздо более распространенная в тех местах, где принимаются решения о внедрении ИИ. Это мифология автоматизации: убеждение, что исключение человека из процесса всегда приводит к повышению эффективности. Что это суждение — издержки, которые нужно устранить. Что эта возможность — фиксированный ресурс, а не накапливающийся актив. Что цель ИИ — выполнять задачи, которые в настоящее время выполняют люди, только быстрее и дешевле.
Эта мифология не позиционирует себя как мифология. Она появляется в респектабельных одеждах расчетов рентабельности инвестиций, целевых показателей сокращения штата и панелей мониторинга производительности. Все чаще она появляется в обличии дополнения. Все крупные компании, занимающиеся ИИ, теперь используют слово «дополнение» для описания услуг своих соответствующих компаний, одновременно создавая инфраструктуру, которая движется в противоположном направлении.
Каждый значительный релиз платформы за последние два года — агентные фреймворки, программные агенты, использование компьютеров, исследовательские агенты — следует одной и той же траектории: заставить ИИ делать больше, заставить человека делать меньше. Ни один из них не регулирует взаимодействие между человеком и ИИ. Ни один из них не измеряет, растут или атрофируются человеческие возможности. Словарь термина «дополнение» усвоен. Практика, которую он обозначает, — нет. Мифология задает вопрос: что мы можем автоматизировать? Она никогда не задает вопрос: что мы разрушаем?
В феврале 2025 года первый Антропический экономический индекс проанализировал более 1 миллиона разговоров между людьми и ИИ-помощником Клодом, классифицируя каждый из них по тому, использовал ли человек ИИ для выполнения работы за него — автоматизация — или для совместного мышления — дополнение. Было обнаружено, что в 57% случаев люди думали вместе с ИИ, а не делегировали ему задачи.
В последующих отчетах отслеживались изменения этого баланса по мере развития возможностей ИИ. Автоматизация ненадолго обогнала расширение возможностей в середине 2025 года, а затем отстала. Но эта закономерность показательна: даже несмотря на то, что платформы поставляют все более автономные инструменты, соотношение никогда не смещалось решительно в сторону автоматизации среди отдельных пользователей. И все же организации постоянно выбирают противоположное направление — не потому, что автоматизация обеспечивает более высокую отдачу, а потому, что у них есть институциональные возможности для сокращения затрат и отсутствуют возможности для развития потенциала, а приобретаемые ими платформы спроектированы таким образом, чтобы поощрять именно это.
Исторический анализ экономиста Карла Бенедикта Фрея в книге «Технологическая ловушка» показывает, что это повторяющаяся закономерность. Первая промышленная революция породила то, что экономисты называют «паузой Энгельса», период, когда производительность труда выросла на 46%, в то время как заработная плата увеличилась всего на 12%. Вторая промышленная революция, в которой доминировали вспомогательные технологии, привела к всеобщему процветанию. Третья, в которой доминировали заменяющие технологии, совпала со стагнацией заработной платы и ростом неравенства. Закономерность кроется не в технологиях, а в институтах: когда общества создают структуры для расширения возможностей, богатство распределяется; когда же они по умолчанию прибегают к автоматизации, оно концентрируется.
Эссе Сета, сосредоточившись исключительно на том, чего не хватает ИИ, непреднамеренно подкрепляет эту вторую мифологию. Оно говорит нам, что машины не чувствуют. Оно не говорит нам, что именно присутствие человека в системе создает ценность. Обе мифологии — чрезмерное приписывание сознания машинам и недостаточное приписывание ценности человеческому присутствию в сфере сотрудничества — служат одной и той же цели. Они удерживают внимание на том, что представляет собой ИИ, а не на том, что он сохраняет и усиливает в человеческих возможностях.
Это не безобидно. Объектно-ориентированный вопрос — Что такое ИИ? — удобен, поддается контролю и имеет философскую ценность. Реляционный вопрос — Что производит взаимодействие человека и ИИ, и при каких условиях оно производит хорошо? — неудобен, не поддается контролю и требует от нас реорганизации наших показателей, наших институтов и нашего понимания самой ценности.
Нам необходимо создать институты, способные распознать, где кроется ценность — не внутри машины, не внутри человеческого черепа, а в их взаимодействии. В условиях, в которых накапливаются суждения. В качестве внимания, поддерживающего согласованность в условиях прерывистых взаимодействий. В способности человека проецировать смысл, проверять его на соответствие реальности и корректировать в условиях ограничений. В неприводимом к реляционному интеллекте, который возникает, когда люди и машины координируют свои действия, руководствуясь общими целями.
Любой, кто успешно работал с системой ИИ, признает, что сейчас мышление начинает развиваться иначе, чем могло бы в одиночку. Это не философский вопрос. Это экономический вопрос. Это вопрос проектирования и институциональный императив, последствия которого будут накапливаться в течение следующих десятилетий таким образом, что дискуссия о сознании, несмотря на всю свою интеллектуальную привлекательность, не может этого коснуться.
Европейский союз начал это осознавать. Статья 14 Закона ЕС об ИИ требует, чтобы системы ИИ высокого риска проектировались таким образом, чтобы ими «могли эффективно управлять физические лица». Регламент предписывает, что люди должны оставаться способными понимать, интерпретировать и вмешиваться. В нем не говорится, как именно. В документе не указано, какая инфраструктура позволит осуществлять такой надзор, какие показатели продемонстрируют его наличие или как организация сможет отличить значимый надзор от его эффективности. А крайний срок внедрения уже был перенесен — с августа 2026 года на декабрь 2027 года — прежде чем хотя бы одной организации было предложено продемонстрировать соответствие требованиям.
Фраза «человекоцентричный ИИ» встречается в европейской политике так, будто обозначение этой цели равносильно ее воплощению. Это не так. В регулировании уже заложен фундамент. Архитектура, на котором он будет стоять, едва ли придумана. Вероятно, она не будет создана компаниями, чья выручка растет с каждым потребленным токеном.
Более насущная мифология — это не фантазия о сознательных машинах. Это тихое, повсеместное, экономически разрушительное предположение, что присутствие человека в цикле является скорее затратой, чем источником накопительной ценности. Что эта способность потребляется, а не развивается. Что цель интеллекта — устранить необходимость в суждениях, а не углубить их применение.
Эта мифология не нуждается в премии Берггрюена, чтобы быть опасной. Она действует каждое утро понедельника в каждой организации, которая автоматизирует то, что должна дополнять, которая измеряет то, что устраняет, а не то, что дает, которая путает эффективность с интеллектом и смешивает отсутствие трения с наличием мысли.
Вопрос о сознании решен, или находится на стадии решения. Остается вопрос — тот, который определит, станет ли ИИ двигателем институционального интеллекта или ускорителем институционального упадка — научимся ли мы видеть, измерять и сохранять условия, при которых развиваются человеческие возможности. Не то, что представляет собой ИИ. Что он делает возможным. И что мы теряем — безвозвратно, невидимо, обсуждая неправильный вопрос, — когда не можем его защитить.