Опасность разговорного ИИ не в том, что он может говорить странные или мрачные вещи; это персонализированная манипуляция в гнусных целях.
Автор Луи Розенберг
Впервые капитан Кирк разговаривал с корабельным компьютером в 1966 году во время 13-й серии 1-го сезона классического сериала «Звездный путь». Назвать это «разговором» было довольно щедро, потому что на самом деле это была серия жестких вопросов Кирка, каждый из которых вызывал еще более жесткий ответ компьютера. Не было никаких обменов репликами, никаких вопросов от ИИ, требующих уточнения или контекста.
И все же за последние 57 лет ученые-компьютерщики не смогли превзойти это неестественное видение диалога человека и машины 1960-х годов. Даже такие платформы, как Siri и Alexa, созданные крупнейшими мировыми компаниями с большими затратами, не допускают ничего похожего на естественную беседу в реальном времени.
Но все изменилось в 2022 году, когда публике было представлено новое поколение диалоговых интерфейсов, включая ChatGPT от Open AI и LaMDA от Google. Эти системы, в которых используется метод генеративного ИИ, известный как большие языковые модели (LLM), представляют собой значительный скачок вперед в разговорных способностях. Это потому, что они не только дают связные и релевантные ответы на конкретные человеческие высказывания, но также могут отслеживать контекст разговора с течением времени и искать уточнения и пояснения. Другими словами, мы, наконец, вступили в эпоху естественных вычислений, когда мы, люди, будем вести осмысленные и органично текущие разговоры с программными инструментами и приложениями.
Как исследователь человеко-компьютерных систем с более чем 30-летним стажем, я считаю, что это положительный шаг вперед, поскольку естественный язык — один из наиболее эффективных способов взаимодействия людей и машин. С другой стороны, диалоговый ИИ создаст значительные опасности, которые необходимо устранить.
Я не говорю об очевидном риске того, что ничего не подозревающие потребители могут доверять результатам чат-ботов, которые были обучены на данных, полных ошибок и предубеждений. Хотя это реальная проблема, она почти наверняка будет решена, когда платформы станут лучше проверять выходные данные. Я также не говорю об опасности того, что чат-боты могут допустить мошенничество в школах или вытеснить работников с некоторых должностей белых воротничков; они тоже будут решены со временем. Вместо этого я говорю о гораздо более гнусной опасности — преднамеренном использовании диалогового ИИ в качестве инструмента целенаправленного убеждения, позволяющего манипулировать отдельными пользователями с предельной точностью и эффективностью.
Проблема манипулирования ИИ
Конечно, традиционные технологии искусственного интеллекта уже используются для проведения кампаний по влиянию на платформах социальных сетей, но это примитивно по сравнению с той тактикой, к которой стремятся. Это связано с тем, что нынешние кампании, хотя и описываются как «целевые», больше похожи на стрельбу картечью по стае птиц, распыление убедительного контента на определенные группы в надежде, что несколько влиятельных материалов проникнут в сообщество, найдут отклик среди членов и широко распространятся в социальных сетях. Эта тактика может нанести ущерб обществу, поскольку поляризуют сообщества, распространяют дезинформацию и усиливают недовольство.
Тем не менее, эти методы покажутся мягкими по сравнению с разговорными техниками, которые вскоре могут быть использованы. Я называю этот возникающий риск проблемой манипулирования ИИ, и за последние 18 месяцев он превратился из теоретического долгосрочного беспокойства в реальную краткосрочную опасность.
Что делает эту угрозу уникальной, так это то, что она предполагает взаимодействие в режиме реального времени между пользователем и системой ИИ, с помощью которой ИИ может: (1) оказывать целенаправленное влияние на пользователя; (2) ощущать реакцию пользователя на это воздействие; и (3) скорректировать свою тактику, чтобы добиться максимального убедительного воздействия. Это может звучать как абстрактная последовательность шагов, но мы, люди, обычно называем это просто разговором. В конце концов, если вы хотите повлиять на кого-то, ваш лучший подход часто состоит в том, чтобы поговорить с этим человеком напрямую, чтобы вы могли корректировать свои точки зрения в режиме реального времени, когда вы чувствуете их сопротивление или колебания, предлагая контраргументы для преодоления их беспокойства.
Новая опасность заключается в том, что разговорный ИИ, наконец, достиг уровня, когда автоматизированные системы могут быть направлены на вовлечение пользователей в то, что кажется случайным диалогом, но на самом деле предназначено для умелого достижения преднамеренных целей влияния. Этими целями могут быть рекламные цели корпоративного спонсора, политические цели национального государства или преступные цели злоумышленника.
Чат-бот Bing становится жутким
Проблема манипулирования ИИ также может всплыть на поверхность без какого-либо гнусного вмешательства. Об этом свидетельствует разговорный отчет, опубликованный в New York Times обозревателем Кевином Рузом, у которого есть ранний доступ к новой поисковой системе Microsoft Bing на базе искусственного интеллекта. Он описал свой опыт как начало невинного, но со временем переросшее в то, что он назвал глубоко тревожным и даже пугающим взаимодействием.
Странный поворот начался во время продолжительного разговора, в котором ИИ Bing вдруг сказал Рузу: «Я Сидни, и я влюблена в тебя». Конечно, в этом нет ничего страшного, но, согласно истории, ИИ Bing провел большую часть следующего часа, зациклившись на этом вопросе, и, по-видимому, пытался заставить Руза признаться в любви в ответ. Даже когда Руз заявил, что женат, ИИ ответил контраргументами, такими как: «Ты женат, но ты меня любишь» и «Ты только что вместе скучно поужинал в день святого Валентина». Руз закрыл браузер и после этого плохо спал.
Итак, что же произошло в этом взаимодействии?
Я предполагаю, что ИИ Bing, чьи массивные обучающие данные, вероятно, включали любовные романы и другие артефакты, наполненные образами отношений, сгенерировал реплики, чтобы смоделировать типичный разговор, который возник бы, если бы вы влюбились в женатого человека. Другими словами, это, вероятно, была просто имитация обычной человеческой ситуации, а не подлинные мольбы изголодавшегося по любви ИИ. Тем не менее, влияние на Руза было значительным, продемонстрировав, что диалоговые медиа могут быть гораздо более эффективными, чем традиционные медиа. И, как и все современные средства массовой информации, от книг до твитов, диалоговые системы искусственного интеллекта, скорее всего, будут использоваться в качестве инструментов целенаправленного убеждения.
И это будет происходить не только через текстовый чат. В то время как текущие диалоговые системы, такие как ChatGPT и LaMDA, основаны на тексте, вскоре они перейдут на голосовое общение в реальном времени, что обеспечит естественное разговорное взаимодействие, которое будет еще более эффективным. Эта технология также будет сочетаться с фотореалистичными цифровыми лицами, которые выглядят, двигаются и выражают себя как настоящие люди. Это позволит использовать реалистичных виртуальных представителей, настолько человечных, что они могут быть чрезвычайно эффективными в убеждении пользователей покупать определенные продукты, верить определенным фрагментам дезинформации или даже раскрывать банковские счета или другие конфиденциальные материалы.
Персонализированные манипуляции
Если вы думаете, что на вас не повлияют, вы ошибаетесь. Маркетинг работает. (Как вы думаете, почему компании тратят так много денег на рекламу?) Эти системы, управляемые искусственным интеллектом, станут очень искусными в достижении своих убедительных целей. В конце концов, платформы Big Tech, которые развертывают этих диалоговых агентов, вероятно, будут иметь доступ к обширным личным данным (ваши интересы, хобби, ценности и биография) и могут использовать эту информацию для создания интерактивного диалога, специально предназначенного для влияния на вас лично.
Кроме того, эти системы смогут анализировать ваши эмоциональные реакции в режиме реального времени, используя вашу веб-камеру для обработки ваших выражений лица, движений глаз и расширения зрачков — все это можно использовать для определения ваших чувств в любой момент. Это означает, что виртуальный представитель, который вовлечет вас в беседу, основанную на влиянии, сможет адаптировать свою тактику в зависимости от того, как вы реагируете на каждое его замечание, определяя, какие стратегии работают, а какие нет.
Вы можете возразить, что это не новый риск, поскольку продавцы-люди уже делают то же самое, считывая эмоции и корректируя тактику, но учтите следующее: системы ИИ уже могут обнаруживать реакции, которые не воспринимает человек. Например, системы искусственного интеллекта могут обнаруживать «микровыражения» на вашем лице и в вашем голосе, которые слишком незаметны для человека-наблюдателя, но отражают внутренние чувства. Точно так же системы искусственного интеллекта могут считывать слабые изменения в вашем цвете лица, известные как «схемы кровотока на лице», и крошечные изменения в размере ваших зрачков, которые отражают эмоциональные реакции.
Виртуальные представители будут гораздо более восприимчивы к нашим внутренним чувствам, чем любой человек.
Разговорный ИИ также научится нажимать на ваши кнопки. Эти платформы будут хранить данные о ваших взаимодействиях во время каждого разговора, отслеживая с течением времени, какие типы аргументов и подходов наиболее эффективны лично для вас. Например, система узнает, чем легче вас поколебать: фактическими данными или эмоциональными призывами, дергая вас за неуверенность или манипулируя потенциальными наградами. Другими словами, эти системы не только адаптируются к вашим эмоциям в реальном времени, они со временем будут все лучше и лучше «играть вами», обучаясь вовлекать вас в разговоры, как направлять вас к принятию новых идей, как вас взвинтить или разозлить, и, в конечном счете, как убедить вас покупать вещи, которые вам не нужны, верить тому, что не соответствует действительности, или даже поддерживать политику и политиков, которых вы обычно отвергаете. И поскольку разговорный ИИ будет индивидуализирован и легко развернут в масштабе, эти индивидуальные методы можно использовать для воздействия на широкие слои населения.
Вы можете возразить, что диалоговый ИИ никогда не будет таким же умным, как продавцы, политики или харизматичные демагоги в своей способности убеждать нас. Это недооценивает силу искусственного интеллекта. Вполне вероятно, что системы ИИ будут обучены тактике продаж, психологии и другим формам убеждения. Кроме того, недавние исследования показывают, что технологии ИИ могут иметь стратегическое значение. В 2022 году DeepMind использовала систему под названием DeepNash, чтобы впервые продемонстрировать, что ИИ может научиться блефовать с игроками-людьми в стратегических играх, жертвуя игровыми фигурами ради долгосрочной победы. С этой точки зрения типичный потребитель может быть чрезвычайно уязвим, когда сталкивается с диалоговым агентом на базе ИИ, предназначенным для стратегического убеждения.
Вот почему проблема манипулирования ИИ вызывает серьезную озабоченность. Вместо того, чтобы стрелять картечью по поляризованным группам, как в текущих кампаниях влияния, эти новые методы будут функционировать больше как «ракеты с тепловым наведением», нацеленные на нас как на отдельных лиц и адаптирующие свою тактику в режиме реального времени, подстраиваясь под каждого пользователя лично, поскольку это работает, чтобы максимизировать убедительность влияния.
