Авторы: Кэ Ян, Чэн Сян Чжай
Аннотация
Быстрое развитие автономных агентов на основе ИИ меняет человеческое общество и экономические системы, поскольку эти сущности все чаще демонстрируют интеллект, схожий с человеческим или даже превосходящий его. От освоения сложных игр, таких как го, до решения разнообразных задач общего назначения с помощью больших языковых и мультимодальных моделей, ИИ-агенты превращаются из узконаправленных инструментов в универсальных участников экономических и социальных экосистем. Их автономность и способность принимать решения могут оказать глубокое влияние на отрасли, профессии и жизнь людей, поднимая важные вопросы об их интеграции в экономическую деятельность, потенциальных этических проблемах и балансе между их полезностью и безопасностью. В качестве шага к ответу на эти вопросы в данной статье излагаются десять принципов экономики ИИ-агентов, которые составляют основополагающую структуру для понимания того, как ИИ-агенты принимают решения, влияют на социальные взаимодействия и участвуют в экономике в целом. Опираясь на знания из области экономики, теории принятия решений и этики, мы исследуем фундаментальные вопросы, такие как: могут ли ИИ-агенты эволюционировать от инструментов до независимых сущностей, как их участие меняет рынки труда и какие этические ограничения необходимы для обеспечения их соответствия человеческим ценностям. Предлагаемые нами принципы дополняют существующие экономические теории, учитывая уникальные характеристики ИИ-агентов, и предлагают дорожную карту для их ответственной интеграции в человеческие системы. Помимо теоретического вклада, в данной статье подчеркивается важность будущих исследований в области надежности приложений ИИ, надежных этических руководящих принципов и регулирующего надзора за внедрением агентов ИИ. Поскольку мы находимся на пороге эпохи преобразований, эта работа служит одновременно руководством и призывом к действию, чтобы обеспечить положительный вклад агентов ИИ в прогресс человечества и одновременно снизить потенциальные риски, связанные с их беспрецедентными возможностями.
Введение
Дискуссия об автономных агентах на базе искусственного интеллекта, которые меняют наш мир, с каждым днем становится все более интенсивной. Эти агенты искусственного интеллекта представляют собой компьютерные программы, демонстрирующие человекоподобный или даже сверхчеловеческий интеллект, которым предоставлена определенная степень автономности для выполнения задач, которые ранее требовали вмешательства человека, либо полуавтономно, либо полностью автономно. Стремление расширить сферу применения ИИ-агентов подпитывается успехом высокопроизводительных программ: в 2010-х годах AlphaGo победил человеческих экспертов по игре в го, и вершины мастерства в го были завоеваны алгоритмами [Silver et al., 2016]; в 2020-х годах появились крупные языковые модели, продемонстрировавшие, что при значительном увеличении вычислительных масштабов программы могут решать общие задачи, такие как ответы на вопросы, написание кода и решение математических задач, подобно людям [Brown et al., 2020]. Эти модели освоили язык — обширное и сложное пространство действий, которое когда-то использовалось людьми для утверждения своего превосходства в интеллекте. Менее чем за десятилетие появились базовые модели для задач, связанных со зрением, звуком и другими мультимодальными задачами, и, несмотря на свои ограничения, они сравнялись или даже превзошли человеческие способности в фундаментальных задачах понимания и генерации [Rombach et al., 2022, Borsos et al., 2023, Radford et al., 2021].
Можно предвидеть, что на основе этих базовых моделей с обучением адаптации к конкретным задачам будет быстро разработан широкий спектр ИИ-агентов во всех областях применения. Действительно, многие отрасли уже используют ИИ-агенты, и их число будет расти: мы предвидим появление агентов, предоставляющих индивидуальные рекомендации для сельского хозяйства или животноводства с учетом географических условий, контролирующих или разрабатывающих алгоритмы для регулирования температуры печей с минимальным вмешательством человека, выступающих в качестве физических объектов в классах, клиниках, логистике и розничной торговле, а также вносящих вклад в развитие технологий, творчества и защиту окружающей среды.
Сторонники ИИ с нетерпением ждут, когда эти тщательно разработанные и обученные программы заменят многие человеческие роли в социальном разделении труда — некоторые предвидят, что ИИ возглавит четвертую промышленную революцию, в которой высоко повторяющиеся и утомительные задачи будут выполняться агентами, оптимизируя социальные функции, экономя человеческий труд и, таким образом, принося больше прибыли для человеческого сообщества при меньших затратах. Однако в многочисленных художественных произведениях будущее развития ИИ изображается как катастрофическое, с популярными дискуссиями о таких сценариях, как «Матрица», где люди используются в качестве источников энергии для программ [Lana Wachowski, 1999], или «Я, робот», где «планы по защите людей» роботов приводят к ограничению свободы человека [Proyas, 2004]. Если эти воображаемые эволюции будущего правдоподобны с точки зрения условий развития истории, они указывают на одну из возможностей сосуществования людей и агентов. В любом случае, общественный дискурс неизбежно указывает на следующее: учитывая впечатляющий интеллект и потенциальный рост производительности агентов ИИ, им, несомненно, будет предоставлена автономия, они будут интегрированы в производство и жизнь людей и будут участвовать в экономической деятельности.
Поскольку они находятся в зачаточном состоянии, мы должны выяснить, как сбалансировать автономию и безопасность агентов ИИ, обеспечив, чтобы по крайней мере первые фундаментальные шаги были сделаны правильно. Многие вопросы, которые когда-то казались малозначимыми для нашего общества, теперь стали важными и актуальными: имеют ли агенты ИИ сознание или потребности? Останутся ли они всегда инструментами человека или могут стать гражданами? Могут ли существовать агенты ИИ, специально разработанные для нанесения вреда? Является ли система с несколькими беспилотными разведывательными дронами-дубликатами, но с центральным блоком принятия решений, одним агентом или несколькими агентами? Могут ли работники и аспиранты делегировать свои обязанности агентам ИИ и уйти в отпуск? А как насчет судей и государственных чиновников? Могут ли профессии людей быть полностью заменены агентами ИИ? Уничтожат ли ИИ-агенты человеческую цивилизацию?
Ответить на такие вопросы можно только путем научного анализа механизмов принятия решений ИИ-агентами и оценки их поведения в экономическом и социальном контексте, как в качестве отдельных агентов, так и в качестве членов экономической экосистемы, объединяющей ИИ-системы и человеческих участников. С этой целью в данной статье мы предлагаем точку зрения участников разработки систем ИИ, излагая принципы и основные факты, касающиеся участия агентов ИИ в экономической деятельности человека. Сюда входит то, как агенты ИИ принимают решения, как они влияют на другие интеллектуальные сущности в социальных взаимодействиях и как функционирует экономика с участием агентов ИИ. Предлагаемые нами принципы экономики агентов ИИ дают объективное представление о процессе принятия решений агентами. На основе этих принципов мы можем сделать разумные оценки процесса принятия решений агентами и их воздействия на экономическую деятельность в будущем, что облегчит определение приоритетов в исследованиях и разработку политики в будущем.
Важно отметить, что предлагаемые нами принципы экономики агентов ИИ призваны дополнить, а не заменить существующие принципы экономики человека, которые остаются применимыми в более широком контексте взаимодействия человека и агентов ИИ. Общие принципы, такие как принятие компромиссных решений и реагирование на стимулы [Mankiw, 2021], в равной степени применимы к поведению агентов ИИ. Кроме того, исследования в области принятия решений агентами ИИ будут опираться на существующие исследования в области принятия решений людьми, такие как асимметричная информация и теория игр [Auronen, 2003, Fudenberg и Tirole, 1991].
Наконец, мы хотим подчеркнуть важность этики ИИ-агентов, которую мы также осветим в наших принципах. Пессимистически настроенные ученые предостерегают от трансляции звуков Земли в космос из-за ограниченности ресурсов и потенциальной межцивилизационной конкуренции или потрясений. Параллельно с этим, создавая ИИ-агентов, мы создаем другой интеллект, который соперничает с человеческим интеллектом или превосходит его, потенциально культивируя другую форму цивилизации. Как гласит старая пословица, «Одна мысль может создать Будду или демона», и на этом переломном этапе человеческое сообщество должно достичь консенсуса по поводу абсолютных этических принципов, которым должны придерживаться агенты ИИ, ограничивая академическую и промышленную разработку агентов и призывая к законодательному и государственному регулированию.
В этой статье мы стремимся предоставить широкой аудитории необходимые базовые знания для понимания развития агентов ИИ и их будущего участия в жизни человека, помогая им в принятии решений, таких как покупка акций или домашних роботов. Для исследователей в области машинного обучения мы обобщаем объективные закономерности и риски в развитии ИИ-агентов, предоставляя дорожную карту, которая поможет им отслеживать прогресс и избегать ошибок при разработке алгоритмов. Для всех остальных, помимо предоставления информации, мы подчеркиваем, что надежность так же важна, как производительность, эффективность и стоимость в приложениях ИИ, касающихся развития человека в присутствии другого подобного или превосходящего его интеллекта.
10 принципов
Как ИИ-агенты принимают решения
1. Фундаментальная структура ИИ-агентов отличается от структуры человека, что приводит к различиям в факторах и механизмах принятия решений.
2. Процессы принятия решений ИИ-агентами основаны на формировании их самосознания и собственных потребностей.
3. Большинство ИИ-агентов будут существовать в качестве представителей человека, а их руководящие принципы будут неразрывно связаны с интересами отдельных лиц или коалиций, которые они представляют.
4. Принятие решений агентами ИИ можно рассматривать как задачу оптимизации с ограничениями, где автономность является одним из ключевых параметров, влияющих на операционную эффективность.
Как агенты ИИ влияют на других интеллектуальных участников социальной деятельности
5. Агенты ИИ и человеческие агенты сосуществуют в одном физическом мире, взаимно влияя друг на друга как интерактивные участники в общей среде.
6. Между агентами ИИ, а также между агентами ИИ и людьми существуют сотрудничество и конкуренция, при этом принятие решений направлено на удовлетворение интересов соответствующих заинтересованных сторон.
Как функционирует экономика в целом с участием агентов ИИ
7. Агенты ИИ будут демонстрировать функциональную специализацию и иерархическую организацию, плавно интегрируясь в социальные, экономические и властные структуры человека.
8. Степень, в которой агенты ИИ заменяют роли людей в различных секторах общества, должна обеспечивать баланс между эффективностью и безопасностью, что требует регулирования со стороны законодательных и административных органов.
9. Цивилизация будет создана совместно интеллектуальными формами жизни на основе углерода и кремния.
10. Агенты ИИ должны придерживаться абсолютного принципа продолжения существования человечества.
Перспективы
Возвращение к начальным вопросам
Десять принципов, предложенных в предыдущих разделах, служат основой для рассуждений о будущем ИИ-агентов и их влиянии на наше общество. Хотя точно предсказать будущее всегда сложно, мы хотели бы высказать некоторые предварительные соображения по вопросам, поднятым ранее в этой статье.
Имеют ли ИИ-агенты сознание или потребности? ИИ-агенты могут проявлять характеристики, сходные с сознанием, когда будут разработаны технологии, позволяющие непрерывно воспринимать физическую среду и обновлять память на основе обратной связи (принцип II). Такие системы могут демонстрировать черты, напоминающие человеческое самосознание. Однако их потребности не являются внутренними, а определяются их объективными функциями (принцип I). Эти цели могут варьироваться от альтруистических, таких как помощь людям (принцип III), до императивов, обусловленных выживанием и оптимизированных для обеспечения непрерывности работы агента ИИ (принцип II).
Останутся ли они всегда инструментами человека или могут стать гражданами? Возможное признание агентов ИИ в качестве граждан зависит от подхода человечества к их развивающемуся интеллекту (принцип VIII). Если люди позволят ИИ развиться до такой степени, что его интеллект стирает границы между биологическими и искусственными структурами, общество может пересмотреть статус агентов ИИ как инструментов и предоставить им такие права, как гражданство или право собственности (принцип II). Однако такие решения будут зависеть от этических и философских дебатов о природе личности и агентства.
Могут ли существовать ИИ-агенты, специально разработанные для нанесения вреда? Да. Злонамеренные ИИ-агенты представляют собой реальную угрозу. Пока люди разрабатывают ИИ для достижения конкретных целей, отдельные лица или группы с вредоносными намерениями могут создавать системы, предназначенные для разрушительных целей. Наличие злонамеренных действующих лиц гарантирует потенциальное появление злобного ИИ. (Принцип III)
Является ли система с несколькими беспилотными разведывательными дронами-дубликатами, но с центральным блоком принятия решений одним агентом или несколькими агентами? Это представляет собой одного агента ИИ. Агенты ИИ не ограничены физическим воплощением; в этом сценарии дроны действуют как распределенные датчики, которые подают информацию в единую систему принятия решений, функционируя коллективно как одно целое (Принцип VII).
Могут ли работники и магистранты делегировать свои обязанности агентам ИИ и уйти в отпуск? А как насчет судей и государственных чиновников? Могут ли профессии людей быть полностью заменены агентами ИИ? Агенты ИИ способны имитировать широкий спектр человеческой деятельности, включая ту, которую выполняют работники, аспиранты, судьи и государственные чиновники (принцип III). Однако предоставление полной автономии агентам ИИ в социальных ролях маловероятно из-за обоснованных опасений по поводу уменьшения контроля и влияния человека на критически важные функции. Поддержание баланса между интеграцией ИИ и человеческим действием имеет важное значение для защиты интересов общества и этического управления (Принцип VIII) .
Уничтожат ли агенты ИИ человеческую цивилизацию? Эту возможность нельзя исключать (Принципы IX, X). Современные сверх интеллектуальные модели, даже те, которые ограничены текстовым обучением, уже демонстрируют способности, превосходящие среднего человека во многих областях. Когда агенты ИИ достигнут воплощения, автономности и способности к самообновлению и принятию независимых решений, их влияние на мир будет соперничать с влиянием людей, а то и превзойдет его (принципы V, VI) . В условиях конкуренции интеллекта ожидать сдержанности может быть нереалистично, что подчеркивает необходимость надежных мер безопасности и систем управления (принципы IV, VIII) .
Направления будущих исследований
Эти десять принципов также предлагают три общих направления для будущих исследований в области ИИ, помимо уже отмеченных конкретных направлений:
i) ИИ-агенты, вдохновленные человеком. Для создания гибридного общества, в котором ИИ-агенты будут жить в гармонии с людьми и предоставлять интеллектуальные услуги на уровне человека, необходимо, чтобы ИИ-агенты могли приближаться к человеческому поведению и производительности и даже превосходить их. Поэтому будущие исследования будут сосредоточены на преодолении этого разрыва, с дополнительным акцентом на надежность и предсказуемость ИИ. Одним из многообещающих подходов является нейросимволическая архитектура, которая интегрирует крупные базовые модели и когнитивные рамки с непрерывным обучением с подкреплением, тем самым охватывая как процессы системы 1 (интуитивные), так и системы 2 (обдуманные) человеческого познания. Это позволит агенту развивать самосознание и потребности, как показано на рисунке 1 слева направо.
ii) Оптимизация взаимодействия человека и агента. Принципы V и VI подчеркивают важность изучения агентов ИИ в гибридном обществе, где они взаимодействуют как друг с другом, так и с людьми (см. рисунок 2). Хотя односторонние многоагентные системы хорошо изучены, как показывают такие предметы, как теория игр и обучение многоагентного ИИ с помощью метода подкрепления, будущие работы должны более явно учитывать обе стороны. С точки зрения разработки агентов ИИ, агенты ИИ следующего поколения должны научиться эффективным стратегиям помощи и сотрудничества, что требует модели человеческих агентов (т. е. теории разума). Основная проблема заключается в реалистичном моделировании человеческого поведения во всей его сложности — задача, которая, вероятно, выиграет от психологических теорий и смежных областей.
iii) Эволюция экосистемы «человек-ИИ». Наконец, необходимо исследовать динамику будущего гибридного общества (см. рисунок 3), включая пересечения с социальной полезностью, этикой, законностью, справедливостью, управлением и более широкими вопросами цивилизации. Крупномасштабные социальные симуляции особенно перспективны для исследования этих сложных взаимодействий и направления ответственного развития ИИ.
