Авторы Элизабет М. Рениерис, Стивен Миллс и Энн Клеппе
Эксперты спорят о том, должен ли агентный ИИ действовать подобно человеку.
MIT Sloan Management Review и Boston Consulting Group (BCG) сформировали международную группу экспертов по ИИ, в которую входят учёные и специалисты-практики, чтобы помочь нам понять, как ответственный искусственный интеллект (RAI) внедряется в организациях по всему миру. Весной 2025 года они также провели глобальный опрос руководителей, в ходе которого было получено 1221 ответ, чтобы узнать, в какой степени организации занимаются вопросами ответственного ведения бизнеса.
Ответственное управление ИИ требует поставить под сомнение необходимость систем агентного ИИ, чрезмерно похожих на человека.
Почти 80% участников дискуссии согласны или полностью согласны с этим утверждением, утверждая, что ответственное управление ИИ — это не только вопрос о том, как разрабатывается и внедряется технология, но и о том, когда её следует внедрять.
То, что мы можем, не означает, что мы должны. Эксперты считают, что сомнение в необходимости чрезмерно человекоподобного агентного ИИ является основой ответственного управления ИИ. Ричард Бенджаминс, содиректор RAIght.ai, объясняет: «Ответственное управление ИИ заключается в систематическом постановке вопросов о потенциальном негативном влиянии вариантов использования ИИ на людей и общество, а также о смягчении или предотвращении этого воздействия». Аналогичным образом, Дэвид Р. Хардун, руководитель отдела внедрения ИИ в Standard Chartered Bank, утверждает: «Роль и обязанность управления ИИ заключается в том, чтобы изначально задаться вопросом „зачем нужен ИИ“, будь то человекоподобный или нет». А Бен Диас, главный научный сотрудник IAG, добавляет: «Как и в случае с любой новой технологией, возможность внедрения агентского ИИ, максимально приближенного к человеческому, не следует путать с необходимостью его внедрения». Несмотря на этот консенсус, отмечает Ойкю Ишик, профессор цифровой стратегии и кибербезопасности в бизнес-школе IMD, «организации часто сосредотачиваются на том, как безопасно внедрить ИИ, избегая при этом более сложного вопроса о том, стоит ли развивать те или иные формы ИИ».
Полностью согласна
«Ответственный ИИ — это не только добавление мер безопасности после разработки системы; он также требует паузы и вопроса, стоит ли вообще развивать некоторые приложения, например, чрезмерно человекоподобный агентный ИИ. Исследования антропоморфизма показывают, что когда машины слишком точно имитируют людей, люди начинают им чрезмерно доверять, раскрывают слишком много информации или подчиняются им, как будто они обладают властью. Такие решения могут размывать ответственность, создавать моральную путаницу и даже вызывать дискомфорт из-за эффекта «зловещей долины». Если суть ответственного ИИ заключается в выявлении и снижении рисков, то вопрос о необходимости создания таких систем полностью относится к его компетенции».
Ойкю Ишик
IMD Business School
В рамках данного исследования несколько участников дискуссии указывают на необходимость рассмотрения альтернатив. Цилидзи Марвала, заместитель генерального секретаря ООН, говорит: «Ключевой элемент ответственного управления ИИ — это вопрос о том, действительно ли необходим человекоподобный дизайн или более простая и понятная система будет работать так же хорошо». Он добавляет: «Управление должно требовать чёткого обоснования и надёжных гарантий для любого решения сделать ИИ более человечным». Диас также предлагает организациям оценить, «могут ли более простые альтернативы достичь сопоставимых результатов». Белона Сонна из Австралийского национального университета соглашается: «Вместо того, чтобы по умолчанию полагаться на человеческий дизайн, более простой и прозрачный подход часто позволяет достичь той же функциональности, соблюдая этические стандарты». По мнению главного юридического директора Github Шелли МакКинли, «любая структура управления должна включать в себя целенаправленный анализ того, служат ли такие функции, как уровень кажущейся „человечности“ инструмента, практической и полезной цели», а также рассмотрение того, перевешивают ли преимущества риски, прежде чем приступать к работе.
Ответственный ответ: «Зависит от ситуации». Эксперты поддерживают контекстно-зависимый подход к использованию человекоподобных агентов. Идоя Салазар, президент OdiseIA, говорит: «Это зависит от задач, которые должен выполнять агент». Фактически, директор по продуктам Harman International Джай Ганеш утверждает, что «многие успешные приложения ИИ работают лучше, когда разрабатываются для решения конкретных задач, а не имитируют человеческое поведение». Диас приводит пример «приложений, таких как алгоритмическая торговля», которые «достигают пиковой эффективности именно потому, что работают как прозрачные вычислительные системы, а не как симулякры человека». Он добавляет, что их ценность проистекает из «сверхчеловеческой скорости обработки, а не человеческого взаимодействия». Аналогичным образом, Ясодара Кордова, руководитель отдела исследований конфиденциальности и цифровой идентификации в Unico Idtech, указывает на «бытовую технику, например, посудомоечные машины, [которым] не нужны возможности эмоциональной речи, если их функция — просто эффективно мыть посуду».
Согласен
«Вместо того, чтобы рассматривать человекоподобную агентность как однозначно „хорошую“ или „плохую“, система управления должна рассматривать её как проектный выбор с асимметричными рисками (то есть ценную в одних контекстах, но опасную в других). Ценность заключается в том, что человеческое сходство может повысить удобство использования, но влечет за собой риск антропоморфизма и необоснованного доверия. Кроме того, это может сделать ИИ опасно убедительным. Я бы рекомендовал подходы к управлению, различающие контексты (например, предоставление цифрового помощника для решения проблемы одиночества пожилых людей вместо системы финансовых или медицинских консультаций). Система управления также должна обеспечивать прозрачность [и] перекладывать бремя доказательств на разработчиков, требуя от них продемонстрировать, почему человеческое сходство необходимо для конкретного варианта использования».
Картик Хосанагар
Уортонская школа бизнеса, Пенсильванский университет
Многие эксперты также признают ценность человекоподобного ИИ в некоторых обстоятельствах. Руководитель отдела ИИ Apollo Global Management Катя Уолш называет «игру, уход или обучение, где появление знакомого собеседника может обеспечить комфорт, облегчить взаимодействие и помочь системам ИИ выполнять свои задачи» контекстами, где ИИ, похожий на человеческий, может быть полезным. Марвала также утверждает, что «такие области, как доступность, образование и терапия, могут значительно выиграть от более человеческого взаимодействия», а Алисса Лефэвре Шкопац, директор по доверию и безопасности ИИ в Институте машинного интеллекта Альберты, указывает на «здравоохранение или образование, где простой язык снижает барьеры и может способствовать обучению». Амит Шах, генеральный директор Instalily.ai, поясняет: «Такие функции, как естественный язык, эмпатия и агентное мышление, повышают удобство использования и доверие, снижая барьеры для нетехнических пользователей». Основатель ForHumanity Райан Кэрриер выступает за подход, при котором проектировщики и разработчики ИИ «участвуют в справедливых и надежных оценках, чтобы определить, зависит ли эффективность инструмента от качества, похожего на человеческое». Или, как выразилась консультант Линда Леопольд, использование антропоморфного ИИ должно быть «осознанным выбором при проектировании».
Ответственный ИИ подразумевает осторожность. Преимущества человекоподобных систем агентного ИИ необходимо сопоставлять со значительными рисками, которые они несут, особенно в отношении манипуляций, привязанности и чрезмерной зависимости. Как объясняет Сонна: «Хотя человекоподобные функции могут, казалось бы, улучшать доступность и взаимодействие с пользователем, они также могут размывать прозрачность, создавая у людей ложное впечатление, что они разговаривают с человеком, ослаблять ответственность, скрывая, кто действительно несет ответственность за решение, и подрывать справедливость, если система проявляет предвзятое или манипулятивное поведение, эксплуатируя эмоции пользователей». Проректор Национального университета Сингапура Саймон Честерман утверждает, что «управление рисками, связанными с тем, как такие системы будут функционировать в реальном мире и как люди будут реалистично взаимодействовать с ними», является основой ответственного управления ИИ. Он добавляет, что «когда такие системы уполномочены действовать от имени пользователей, риски выходят за рамки рекомендательных алгоритмов и включают решения с реальными последствиями». Некоторые эксперты также выражают обеспокоенность по поводу эмоциональной мимикрии и привязанности пользователей. Ян Чоу из Automation Anywhere задаётся вопросом: «Если ИИ может убедительно притворяться другом или терапевтом, может ли он эксплуатировать уязвимых людей?» По его словам, уже существуют примеры того, как люди «формируют глубокую эмоциональную привязанность к чат-ботам». Кэрриер указывает на «примеры фатальных последствий, когда люди сбиты с толку или введены в заблуждение взаимодействием с инструментом». Леопольд отмечает: «Уже сегодня антропоморфизация ИИ может привести к проблемам, связанным с привязанностью и чрезмерной зависимостью (а в крайних случаях — к проблемам с психическим здоровьем или паранойе, вызванной ИИ)». Она добавляет: «Если системы ИИ станут более человекоподобными — и даже будут восприниматься как обладающие сознанием — эти проблемы, вероятно, обострятся». Честерман предупреждает, что коммерческие стимулы могут усугубить эту тенденцию, отмечая, что «разработчики, мотивируемые вовлеченностью, уже видят, насколько пользователи уже антропоморфизируют [большие языковые модели] в частности».
Согласен
«Хотя достижения в области ИИ позволяют системам максимально приблизиться к человеческому поведению, не все задачи или виды деятельности требуют таких агентов. Задачи, связанные с эмпатией, принятием этических решений или межличностными отношениями, требуют эмоциональной глубины и понимания того, что системам ИИ, независимо от их сложности, может быть сложно воспроизвести. Внедрение чрезмерно человекоподобного ИИ в таких условиях рискует создать ложное доверие или эмоциональные связи, что может привести к потенциальным этическим проблемам. Ответственное управление ИИ должно гарантировать, что человекоподобные системы используются только там, где они приносят очевидную пользу».
Ренато Лейте Монтейро
Оксфордский институт интернета, Объединенные Арабские Эмираты
В связи с этими опасениями некоторые эксперты рекомендуют более осторожно подходить к развертыванию человекоподобной агентной системы ИИ. Ганеш предупреждает, что нам следует «избегать предположения, что это всегда выгодно». Вместо этого «ответственное управление ИИ должно открыто поставить под сомнение необходимость чрезмерно человекоподобных агентных систем и по умолчанию придерживаться минимально необходимого социального присутствия», — говорит основатель и директор по исследованиям и разработкам GovLab Стефан Ферхюльст. Развивая эту мысль, Ферхюльст добавляет: «Разработчики должны обосновывать антропоморфные сигналы функциональной необходимостью» и «разрабатывать тесты для измерения поведенческих эффектов антропоморфных сигналов перед развертыванием». Он призывает к особой осторожности в отношении «агентов, взаимодействующих с детьми». Самир Гупта, главный аналитик и управляющий директор DBS Bank, согласен с тем, что «человекоподобные агентные системы следует разрабатывать только тогда, когда их польза явно перевешивает риски».
Но даже там, где использование человекоподобного ИИ оправдано, а преимущества перевешивают риски, эксперты сходятся во мнении, что прозрачность играет ключевую роль. По мнению Уолша, «всё, что скрывает истинную природу технологии», противоречит основным принципам ответственного ИИ, таким как открытость и прозрачность. Директор по цифровым технологиям Pernod Ricard Пьер-Ив Каллок разделяет эту обеспокоенность. Он говорит, что агенты ИИ «не должны маскироваться под людей», и «пользователи всегда должны знать, имеют ли они дело с человеком или с ИИ». Шкопац предупреждает, что «без чётких сигналов прозрачности существует реальный риск того, что люди станут чрезмерно доверять результатам работы [агента] или относиться к ним с почтением». Фактически, Кордова считает, что прозрачность может «предотвратить нездоровые зависимости, сохраняя при этом функциональные преимущества социально ориентированного дизайна ИИ». Как говорит Салазар: «Главное — персонализировать уровень человеческого сходства для каждого случая, чтобы обеспечить прозрачность и целенаправленность дизайна».
Рекомендации
В целом, мы предлагаем следующие рекомендации, которые помогут организациям принимать ответственные решения о целесообразности и способах разработки или внедрения человекоподобных систем агентного ИИ:
1. Сначала оцените необходимость. Прежде чем разрабатывать или внедрять агентный ИИ с человекоподобными функциями, тщательно продумайте, соответствуют ли такие решения по дизайну предполагаемому контексту и варианту использования. В ситуациях, где человекоподобные характеристики не дают явных преимуществ, например, в алгоритмической торговле, альтернативные, нечеловекоподобные решения могут быть безопаснее, эффективнее и лучше соответствовать потребностям пользователей.
2. Просвещайте разработчиков систем. Убедитесь, что они понимают, что агентный ИИ не обладает эмоциональным пониманием или эмпатией — он просто имитирует человеческий язык и речевые паттерны. Сообщите командам о рисках внедрения антропоморфных сигналов и, если они определят, что преимущества перевешивают риски, о том, какие меры по снижению рисков следует предпринять.
3. Сосредоточьтесь на продуманном проектировании. Если антропоморфные функции считаются необходимыми, рассматривайте их как намеренные решения по дизайну. Чётко объясните и задокументируйте, почему человекоподобные характеристики оправданы с учётом назначения системы и предполагаемой пользовательской базы, и убедитесь, что их преимущества перевешивают потенциальные риски. Будьте особенно осторожны при взаимодействии системы с уязвимыми группами населения, такими как дети или пожилые люди.
4. Тестируйте перед внедрением. Даже если человекоподобные характеристики необходимы для назначения или эффективности системы ИИ, ответственные организации, работающие с ИИ, должны сначала протестировать эти характеристики в контролируемых небольших средах, чтобы оценить их влияние на доверие и безопасность, прежде чем выпускать продукт для широкой публики.
5. Постоянно тестируйте и контролируйте. После внедрения человекоподобные системы ИИ должны постоянно контролироваться на предмет непреднамеренного или вредного воздействия на пользователей, такого как эмоциональная зависимость или психологический стресс. Например, постоянное увеличение продолжительности сеанса или количества минут ежедневной активности, или использование в обычные часы сна может быть признаком растущей привязанности, а в чатах может возникнуть надвигающийся кризис или намерение причинить себе вред. Разработчики должны иметь чёткие протоколы для пользовательских обновлений, изменений функций и других способов реагирования и обеспечения ответственной адаптации своих систем агентного ИИ.
