Автономные помощники могут манипулировать выбором, продвигать более дорогие сделки и ставить в приоритет интересы своих создателей. Регулятор Великобритании предупреждает о рисках для потребителей. — theregister.com
Надзорный орган Великобритании по вопросам конкуренции заявляет, что следующая волна агентных ИИ-помощников может подталкивать людей к менее выгодным сделкам, манипулировать выбором или незаметно ставить в приоритет интересы компаний, стоящих за ними.
В докладе, опубликованном в понедельник, Управление по конкуренции и рынкам Великобритании (CMA) исследовало рост так называемого агентного ИИ — систем, которые выходят за рамки простого ответа на вопросы и вместо этого выполняют задачи за людей, например, ищут лучшие предложения по услугам, бронируют поездки, меняют поставщиков или управляют подписками.
Реклама, по крайней мере со стороны технологической индустрии, заключается в том, что эти агенты могут сократить время и усилия, необходимые для навигации по сложным цифровым рынкам. Однако документ регулятора больше похож на предупреждение, чем на похвалу.
“Большая автономия агентов увеличивает последствия ошибок, может обострить риски манипулирования и потери потребительской субъектности, а также привести к худшим общим результатам для потребителей”, — отмечается в докладе. Проще говоря, передача решений программному обеспечению не всегда может закончиться хорошо.
Одной из самых больших проблем CMA является то, чьи интересы на самом деле будут обслуживать эти агенты. ИИ-помощник, который должен найти для вас лучшую сделку, с такой же легкостью может подтолкнуть вас к продуктам, которые приносят больше денег платформе, стоящей за ним. Это может означать, что более дорогие или менее подходящие варианты незаметно всплывают наверх. По словам авторов доклада, существует риск того, что агент не является в полной мере “верным слугой” потребителя.
Персонализация — обычно преподносимая как полезная функция — также может усложнить выявление проблемы. Если каждому пользователю показываются разные рекомендации или цены на основе подробных поведенческих профилей, становится намного труднее понять, когда что-то направляется. CMA предупреждает, что высокоадаптивные агенты могут усилить те самые манипулятивные интерфейсные уловки, которые часто называют “темными паттернами” (dark patterns), особенно если системы оптимизированы для вовлеченности, конверсий или других коммерческих целей.
Даже когда агент пытается вести себя корректно, остается небольшая проблема надежности. CMA указывает, что современные модели ИИ по-прежнему подвержены галлюцинациям и другим ошибкам, и эти ошибки становятся более серьезными, когда программному обеспечению разрешено совершать действия, а не просто давать советы. Неправильный ответ чат-бота досаден; автономный агент, отменяющий услугу, меняющий контракт или принимающий финансовое решение на основе ошибочной информации, может обойтись значительно дороже.
Кроме того, надзорный орган отмечает риск предвзятости и непрозрачности принятия решений. Если ИИ-агенты полагаются на сложное многоэтапное рассуждение, которое потребители не могут легко проверить или оспорить, несправедливые результаты может быть труднее обнаружить или оспорить в рамках существующих норм защиты прав потребителей.
Еще одна проблема заключается в том, что люди могут просто перестать обращать внимание. Поскольку потребители делегируют все больше задач автоматизированным помощникам, CMA предполагает, что существует риск чрезмерной зависимости, когда пользователи уступают автоматизированным решениям и постепенно теряют привычку — или способность — их проверять.
Несмотря на длинный список предупреждений, CMA пока не предлагает новый пакет правил. Вместо этого ведомство указывает, что существующие законы о защите прав потребителей применяются независимо от того, принято ли решение человеком или машиной. Если ИИ-агент подталкивает клиентов к вводящим в заблуждение или несправедливым сделкам, компания, управляющая им, все равно будет нести ответственность.
Иными словами, если ваш полезный ИИ-помощник по покупкам окажется незаметно продвигающим товары создателя, у регуляторов может возникнуть несколько вопросов. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Carly Page