Автор Стивен Строгац
Здравый ум (рассудительность) рассматривается как одна из самых сложных проблем в области ИИ. Тем не менее, ChatGPT4 приобрел, по мнению некоторых, впечатляющее чувство человечности. Как это возможно?
Задайте вопрос ChatGPT и другим подобным чат-ботам, и есть большая вероятность, что вы будете впечатлены тем, насколько умело он дает хороший ответ — если только вместо этого он не выплеснет нереальную ерунду. В подобных системах машинного обучения загадочно то, что по своей сути они представляют собой черные ящики. Никто точно не знает, как они приходят к таким ответам. Учитывая эту загадку, возможно ли, что эти системы каким-то образом действительно понимают мир и вопросы, на которые они отвечают? В этом выпуске ученый-компьютерщик Еджин Цой из Вашингтонского университета и ведущий Стивен Строгац обсуждают возможности и ограничения чат-ботов и больших языковых моделей (LLM), на которых они построены.
СТРОГАЦ: Начиная, по крайней мере, с 1960-х годов ученые-компьютерщики мечтали о компьютерах, вдохновленных мозгом, которые могли бы когда-нибудь продемонстрировать интеллект, подобный человеческому. С появлением Интернета, доступностью огромных наборов текстовых данных и впечатляющим развитием вычислительной мощности мы достигли важной точки. Большие языковые модели, или LLM, зачастую обладают чем-то близким к человеческому интеллекту, по крайней мере, для нас, неспециалистов.
А выпуск ChatGPT от OpenAI в 2022 году помог этим магистрам права оставить свой след в заголовках газет, на рабочем месте и в беседах за обеденным столом. Но все же есть явный признак того, что интеллект больших языковых моделей действительно искусственный: отсутствие у них здравого смысла, которое может проявляться эффектным, а иногда и забавным образом в совершаемых ими ошибках.
В этом выпуске мы поговорим с ученым-компьютерщиком Еджин Цой об архитектуре и возможностях больших языковых моделей и порассуждаем о том, обретет ли когда-нибудь искусственный интеллект — ИИ — здравый смысл.
Еджин Цой — профессор и заведующая кафедрой компьютерных наук в Вашингтонском университете, где она исследует статистические подходы и вычислительные модели обработки естественного языка. Она была удостоена звания стипендиата Макартура 2022 года и названа одним из 100 самых влиятельных людей в области искусственного интеллекта по версии журнала Time в 2023 году.
Еджин, большое спасибо, что присоединились к нам на шоу «Радость почему».
ЦОЙ: Спасибо, что приняли меня. Я очень рада быть здесь.
СТРОГАЦ: Отлично. Что ж, это будет очень весело. Я, как и многие другие люди, очарован тем, что происходит сегодня в сфере искусственного интеллекта. И вот, пока я готовился к этому разговору, мне было любопытно, просто в качестве небольшой шутки. Я спросил ChatGPT, чат-бота, построенного на одной из этих больших языковых моделей: «Вы понимаете?»
И он ответил: «Как ИИ, я не обладаю сознанием или субъективным пониманием, как люди. Хотя я могу генерировать ответы, которые кажутся пониманием, важно признать, что это понимание является механистическим и основано на статистических закономерностях, а не на истинном понимании». Что вы думаете об ответе ChatGPT?
ЦОЙ: Похоже, кто-то научил ChatGPT говорить правильные вещи.
СТРОГАЦ: Забавно, что его тренировали? Вы не думаете, что оно само дошло бы до этого?
ЦОЙ: Мы точно не знаем. Я имею в виду, что это модель черного ящика, где непрозрачно, на каких данных она обучалась. И на самом деле, рецепт, известный в этой области, действительно использует написанные человеком примеры определенного, вы знаете, стиля языка, языка, похожего на юриста, который отчетливо использует ChatGPT, который предоставляется людьми как, вы знаете, хорошие примеры для подражания.
Так что дело не в том, что ChatGPT, начитавшись необработанного интернета, вдруг так заговорил. Именно благодаря послеобучению ChatGPT учит говорить более безопасно, более политкорректно и осторожно.
СТРОГАЦ: Я понимаю, конечно. Нет, это имеет смысл. Для этих компаний так много поставлено на карту. И, конечно, я полагаю, что люди действительно могут пострадать, если воспримут некоторые из этих ответов слишком буквально. Я заметил, что у всех чат-ботов на главной странице теперь есть заявления об отказе от ответственности о том, что они могут допускать ошибки. Вам нужно их проверить. Я имею в виду, очевидно, что юристы проводили, как вы говорите, «тренировки» с этими ботами.
ЦОЙ: Полностью.
СТРОГАЦ: Хорошо. Но, возможно, нам стоит на секунду отступить и сказать, что эти большие языковые модели, которые большинство из нас знают через такие продукты, как ChatGPT, Gemini от Google, Microsoft Copilot или Claude от Anthropic. Это всего лишь один из видов искусственного интеллекта. Итак, поскольку наши слушатели, возможно, слышали слова — как, я думаю, мы все слышали — такие как машинное обучение, большие языковые модели, искусственный интеллект, нейронные сети… Не могли бы вы помочь нам просто различить…? Являются ли некоторые из этих подмножеств другими? Как нам следует относиться к такого рода терминам?
ЦОЙ: Итак, это довольно широкие термины, которые определенно имеют свои собственные определения, но они во многом пересекаются. Итак, машинное обучение, в целом, представляет собой алгоритм, который учит машины изучать некоторые закономерности между парами ввода/вывода. И тогда искусственный интеллект, возможно, в более широком смысле, представляет собой вычислительные формы интеллекта, которые могут выполнять определенные операции. Но это может быть использование машинного обучения или просто алгоритмов, алгоритмов вывода. Итак, «нейронная сеть» — это один из типов алгоритмов машинного обучения, который, вероятно, в настоящее время является самым популярным.
Так, например, компьютерные шахматисты в более ранних формах ИИ представляли собой просто алгоритмы вывода, тогда как более современная версия этого была бы в форме нейронной сети, которая является формой машинного обучения.
СТРОГАЦ: Хорошо. Это очень полезно. Итак, каковы возможности и ограничения этих больших языковых моделей?
ЦОЙ: Итак, возможности этих больших языковых моделей феноменальны. Они действительно превосходит ожидания учёных. Оказывается, эти большие языковые модели могут достаточно хорошо ответить на все, что вы могли бы предоставить в качестве текстового ввода, даже если для этого требуются открытые ответы.
Ввод/вывод длинного текста оказался действительно замечательным. Таким образом, он может не только отвечать на простые вопросы и вопросы с несколькими вариантами ответов, но и на любую тему, которую вы задаете в ChatGPT, он сможет ответить на удивление хорошо.
Однако на самом деле это отражение человеческого интеллекта, которым делятся в Интернете, а Интернет огромен. Люди обычно не осознают, насколько он огромен, потому что у людей ограниченные возможности переваривать и читать то, что есть. Но машина уникальна тем, что действительно может прочитать их все в буквальном смысле. Таким образом, он может имитировать те знания и мудрость, которыми люди поделились в Интернете, а затем в каком-то смысле «прочитать их» вам. Но не в дословном смысле, а в более перефразированном смысле. Так что это не точная копия того, что он написал из Интернета, но он способен перефразировать, способен синтезировать, чтобы это звучало достаточно ново для людей.
СТРОГАЦ: Это, как вы говорите, феноменально, одна из самых замечательных вещей. Вы можете попросить его написать эссе для поступления в колледж или помочь вам написать программу на Python. Я имею в виду, что однажды я попробовал, просто ради развлечения, написать пародию «Субботним вечером в прямом эфире», где Дональд Трамп играет психиатра и пытается, ну, вы знаете, давать советы своему пациенту, но в стиле Дональда Трампа. И это было действительно забавно и делало что-то очень похожее на Трампа. А я себе такого представить не могу — знаете, как вы говорите, в Интернете это не дословно. Я не думаю, что Трамп когда-либо играл роль психиатра. Но поразителен тот синтез, который он может осуществить.
Поэтому некоторые люди называют то, что делают эти штуки, своего рода «острым автозаполнением». Но, может быть, вам стоит сказать нам, почему кто-то так говорит? Что по сути делают эти большие языковые модели?
ЦОЙ: Он способен читать много текста и учиться предугадывать, какое слово будет следующим. Во время обучения буквально все, что он делает, — это пытается предсказать, какое слово будет следующим, но в экстремальном масштабе. По этой причине некоторые люди просто преуменьшают значение больших языковых моделей, считая их пикантной машиной автодополнения.
Однако причина, по которой он не обязательно выполняет дословное извержение обучающих данных, заключается в особенностях технических деталей, используемых «под капотом», что не обязательно связано с запоминанием. Он также способен выполнять некоторую степень обобщения. Кроме того, существует случайность в том, как этот текст генерируется обученной нейронной сетью. И эта случайность приводит к тому, что текст не всегда является дословным срыгиванием. Но я имею в виду, что иногда такое может быть, кстати. Если текст повторялся в Интернете достаточно часто, то он действительно запомнит его дословно. И, вы знаете, были некоторые инциденты, о которых сообщила The New York Times, когда она смогла отрыгнуть некоторые из прошлых статей New York Times.
СТРОГАЦ: О, правда? Я не слышал об этом. Я понимаю. Так что в этом смысле это может быть плагиатом.
ЦОЙ: То есть, можно сказать, что это плагиат. Другой человек мог бы сказать, что это нейронная сеть, способная извлечь то, что она прочитала. Но несмотря на это, некоторые люди преуменьшают значение этих машин, говоря: «О, это похоже на автоматическое завершение».
Но причина, по которой он способен делать что-то поразительное, например, обсуждать некоторые темы в стиле Трампа, чего Трамп, возможно, никогда раньше не делал, — это возможно, потому что эти машины способны интерполировать между двумя точками данных. Новая интерполяция, которую никто никогда раньше не делал, для этих машин тривиальна. Так что в какой-то степени вы тоже получаете такую новинку.
СТРОГАЦ: Хм. Итак, вы упомянули обучение, и я думаю, было бы здорово, если бы вы могли объяснить нам немного подробно, что это на самом деле означает? Как бы вы обучили большую языковую модель? Или как эти крупные компании, создавшие ChatGPT или Gemini, что они делают для обучения своих моделей?
ЦОЙ: По сути, обучение сводится к созданию чрезвычайно большой нейронной сети, состоящей из слоев, многих слоев нейронов, а затем последовательной подачи данных из Интернета. И цель этого процесса обучения — предсказать, какое слово будет следующим, в зависимости от последовательности предыдущих слов.
И что поразительно, так это то, что этот простой рецепт обучения нейронных сетей может привести к таким мощным артефактам, которые могут отвечать на любые вопросы в тексте, что для многих людей кажется поразительным уровнем искусственного интеллекта.
Но важно то, что такое обучение действительно очень отличается от того, как люди познают мир, чего мы на самом деле не знаем, — от того, как люди на самом деле учатся. Однако разумно предположить, что люди не обязательно пытаются предсказать, какое слово будет следующим, а скорее пытаемся сосредоточиться на осмыслении мира. Поэтому мы склонны немедленно абстрагироваться.
Мы с вами, кстати, не можем дословно вспомнить дискуссии, взаимодействия, разговор, который у нас только что состоялся. Мы просто не можем, потому что наш мозг приучен сразу абстрагироваться. Но мы помним суть нашего разговора, так что если вы зададите мне тот же вопрос еще раз, я удивлюсь. Итак, есть что-то в том, как люди учатся.
А еще люди учатся с помощью учебной программы и любопытства. И мы строим гипотезы о мире. А затем, если что-то не имеет смысла, даже дети — даже младенцы — пытаются провести несколько экспериментов, чтобы выяснить, какие они путаются в простых объектах, в физических знаниях об объектах, с которыми они взаимодействуют.
Но машины с самого первого дня снабжаются статьями The New York Times. И они не имеют права голоса, в каком порядке они будут читать этот текст, и не имеют права говорить: «Ой, подождите, я действительно хочу прочитать что-нибудь еще раз. Было что-то действительно приятное и любопытное в этой конкретной книге, скажем, в книге Хемингуэя, что привлекло мое внимание и заставило меня читать медленнее». Способы обучения настолько различны, и просто поразительно, как можно обойти обычный способ обучения людей и при этом создать что-то, что так хорошо говорит на человеческих языках.
СТРОГАЦ: Вы подняли там так много интересных моментов. Например, когда мы говорим о детях или людях любого возраста, у нас действительно возникает любопытство. У нас есть желания, например, мы хотим прочитать или перечитать этот отрывок Хемингуэя, или, может быть, есть что-то, что нам не нравится читать, и мы хотели бы это пропустить. До сих пор мы говорили об искусственном интеллекте, но не говорили об искусственных эмоциях, верно?
Мол, то, что эти машины пока не особо вкладывались в желания. Похоже, это может ограничить их возможности, учитывая, что у младенцев и людей всех возрастов есть сила воли. У них есть желание. У них есть то, чего они желают. Считаете ли вы, что эмоции играют важную роль в обучении человека, чего не хватает этим машинам?
ЦОЙ: Да, это отличный момент. И, по сути, все сводится к тому, что мы, в конце концов, биологические существа. У нас есть желание — как глубокое чувство самоидентичности, которое действительно делает нас такими, какие мы есть. И это не то, что мы можем изменить. Мы рождаемся с этой индивидуальностью, знаете ли, и затем живем с ней. Мы живём один раз и дальше живём с этим.
В то время как ИИ, неясно, что это такое на самом деле, потому что он просто в каком-то смысле прочитал все, что пишут, и стал некой средней точкой зрения — или, вы знаете, мыслями и эмоциональным супом — который имитирует все это, например, человеческие эмоции и намерения из-за человеческие эмоции и намерения, которые люди вкладывают в свои произведения.
Итак, эти машины способны все это имитировать. Но вы правы в том, что, в конце концов, в нем нет тех искренних эмоций, которые есть у людей. Хорошо это или хорошо, это философский вопрос, а с точки зрения безопасности это может быть даже научный вопрос. Хорошо ли, если ИИ действительно развивает свои собственные эмоции, например, инстинкт выжившего? Или он хочет доминировать в мире? Это хорошо или нет?
СТРОГАЦ: Ну, это, конечно, то, о чем все мы сейчас думаем, и нам, вероятно, следует отложить этот вопрос на потом, потому что я хочу спросить немного больше о тренинге. Потому что это, как вы говорите, такая бесчеловечная вещь, которую мы от них просим. Мы просим их предсказать следующее слово по данному отрывку. И что происходит, когда они ошибаются?
ЦОЙ: Способ его обучения заключается в том, чтобы максимизировать оценку вероятности, которую он должен присвоить правильному слову. Итак, если он предсказал неправильное слово, это означает, что неправильное слово получило более высокую вероятность. Но все, что остается, — это повысить вероятность того, что вместо этого должно было появиться правильное слово.
СТРОГАЦ: Но не напрямую касаясь этого слова, верно? Я имею в виду, я думаю, что я собираюсь понять идею весов в нейронной сети и то, как существуют механизмы для изменения весов.
ЦОЙ: Да, возможно, мне следует немного отступить, а затем поговорить о том, что есть две фазы тренировки. Один из них — предварительная подготовка. Второе — это пост-обучение, также известное как «обучение с подкреплением с обратной связью от человека» (это жаргонизм), которое на самом деле представляет собой не просто обучение с подкреплением, но также смешанное с чем-то, известным как последовательная тонкая настройка или обучение под учителем. Но в любом случае, по большому счету, есть предтренинг и посттренинг.
Во время предварительного обучения механизм обучения в основном направлен на максимизацию оценки вероятности, которая будет присвоена правильной последовательности слов, то есть точной последовательности слов, которые случайно оказались в Интернете. Между прочим, на самом деле нет никакой причины, по которой это единственная правильная последовательность слов, потому что для любого данного префиксного текста может быть другое, отличное слово, которое можно было бы произнести. Итак, понятие «правильность» не совсем верно.
Но в любом случае, нейронные сети обучены максимизировать вероятность. И что это влечет за собой с точки зрения весов, которые изучают эти нейронные сети, так это то, что способ обучения этих машин в основном основан на так называемом «обратном распространении ошибки».
В основном мы берем градиенты отдельных весов, частичные градиенты. Итак, вы берете производную, частную производную каждого веса нейронной сети. Кстати, весов очень много. Сотни миллиардов параметров, от которых вы берете частную производную, а затем перемещаете этот вес так, чтобы он увеличил оценку вероятности, присвоенную конкретной последовательности слов, которые были в обучающих данных.
СТРОГАЦ: Угу. Что ж, как математик, я очень рад слышать, как вы говорите о частных производных. Но некоторые из наших слушателей могут чувствовать иначе. Итак, позвольте мне провести аналогию. Итак, я люблю играть в теннис, и я помню, когда я учился теннису, иногда, знаете, мяч попадает ко мне, и я могу сделать неудачный удар, и тогда тренер по теннису говорит: «Тебе нужно двигать свою ракетку раньше». . Знаешь, ты не был готов. И тогда я делаю поправку, не знаю, на что — я хочу сказать «веса». Мол, у меня есть какое-то внутреннее представление о том, насколько важно, чтобы мои ноги были в правильном месте, или чтобы я повернул тело в сторону, или взял ракетку обратно, или чтобы я следил за мячом.
У меня есть все эти разные веса, на которые мне нужно обратить внимание, и, учитывая, что этот выстрел был, так сказать, плохим, я постараюсь скорректировать свои веса так, чтобы в следующий раз сделать это лучше. Это что-то вроде этого, да?
ЦОЙ: Да, да, да. Это действительно отличная аналогия.
СТРОГАЦ: Хорошо, хорошо. Но это жестокий способ обучения: вы просто заставляете эту бедную машину отвечать один тестовый вопрос за другим, и каждый раз, когда она делает неправильный ответ, вы, так сказать, наказываете ее. Или, по крайней мере, вы осторожно исправляете его, заставляя его отрегулировать вес так, чтобы в следующий раз он работал лучше.
ЦОЙ: Да. И так далее, и так далее.
СТРОГАЦ: И так далее, и так далее. Это очень жестокий тренинг.
ЦОЙ: Хорошо, что у машины нет эмоций.
СТРОГАЦ: Да, так что, насколько нам известно, это не имеет значения, я думаю. Но это предварительная подготовка, скажете вы.
ЦОЙ: Да, да. А во время пост-тренинга может произойти множество вещей, но, пожалуй, позвольте мне выделить только наиболее показательную из них — обучение с подкреплением с обратной связью от человека. Итак, на этом конкретном этапе после обучения вы представляете ответ машины на запрос оценщику-человеку, и люди могут поставить «большой палец вверх» или «палец вниз». А затем, основываясь на этом, вы возвращаетесь к нейронной сети, чтобы немного скорректировать вес, используя аналогию, которую вы использовали ранее. Но на этот раз вместо того, чтобы сосредотачиваться на том, какое слово будет следующим, вы сосредотачиваетесь на том, получите ли вы большой палец вверх или вниз от человека-оценщика.
СТРОГАЦ: Хорошо. Я понимаю. Итак, весь этот процесс, я имею в виду, мы знаем, что компьютеры работают быстро. Но все же, сколько времени займет, скажем, предтренировочный этап? Просто дайте нам примерное представление об этом. Мы говорим о днях? Недели?
ЦОЙ: Да. Я имею в виду, что это сильно варьируется в зависимости от того, сколько данных вы собираетесь передать, от того, сколько у вас вычислительных ресурсов и от того, насколько большую нейронную сеть вы хотите обучить. Таким образом, существует множество переменных, которые определяют, сколько времени это займет. И, кстати, технологические компании не сообщают, сколько именно времени это заняло и сколько компьютеров они использовали, но можно предположить. Я бы сказал, что действительно хорошие проекты обычно занимают пару месяцев, если вы хотите выйти за рамки. Но я имею в виду, что если вы хотите остановиться раньше с меньшим объемом данных, то это может быть вопросом пары дней.
Кстати, если вы действительно задумаетесь о том, как долго люди учатся — 10 лет обучения в детстве, ну, вы знаете, становясь ребенком. Им еще предстоит многому научиться. Так что в каком-то смысле пара месяцев — это не так уж и плохо.
СТРОГАЦ: [смеется] Это правда.
Что касается вашего прошлого, я думаю, что описал вас как ученого-компьютерщика. Но кажется, что ваша работа была очень междисциплинарной, с вкладом лингвистики, психологии, когнитивной науки. Что привело вас в этом направлении и почему, по вашему мнению, важно смотреть на эту проблему со всех этих разных точек зрения?
ЦОЙ: Да, вообще-то, раньше я думала, что я просто компьютерный человек, который занимается только одним делом в области компьютерных наук. Но затем в последние годы я обнаружила, что читаю книги по когнитивной науке, нейробиологии и философии. И я все еще студент в этих областях. Это не похоже на формальное образование и подготовку.
Но причина, по которой я считаю это важным для моего собственного исследования, заключается в том, что в поисках понимания интеллекта существует общая основа. Будь то форма искусственного интеллекта или человеческий интеллект, есть некоторые идеи, которые я могла бы почерпнуть из этих других областей. И особенно сейчас, когда ИИ становится намного более похожим на человека или, по крайней мере, демонстрирует человеческие возможности, я лично считаю, что проводить междисциплинарные исследования в этих областях становится все более важным.
СТРОГАЦ: Итак, мы действительно хотели поговорить с вами о понимании и о вопросе здравого смысла. Мы говорили о том, насколько хороши эти ChatGPT и другие боты на основе больших языковых моделей при выполнении некоторых задач. Но каковы их слабости или, как я уже упоминал во введении, ошибки, которые они совершают, которые кажутся глупыми или даже забавными.
ЦОЙ: Да, это пример, который я привела в своем выступлении на TED, где я спросила: «Если бы я оставила пять вещей сохнуть на солнце, и им потребовалось бы пять часов, чтобы высохнуть полностью, сколько времени потребуется, чтобы высохнуть 30 вещам?»
Затем ChatGPT сообщил, что на сушку 30 вещей потребуется 30 часов. Это ChatGPT пытается быть слишком умным. Фактически, когда вы сушите одежду на солнце, вы можете сушить ее всю одновременно, поэтому вам не нужно делать математические расчеты, вы просто говорите: «Пять часов».
Так что этот пример стал очень популярным. Вскоре проблема, похоже, была решена. Но потом на всякий случай я подумала, что задам тот же вопрос, но на самом деле сформулированный по-другому. Мы немного изменили порядок предложений и фраз. А потом GPT4 какое-то время не мог правильно ответить на этот вопрос. Потом это исправили где-то через месяц или два.
Так что я думала, что проблема действительно решена, но на всякий случай. Я решила задать еще один вариант: предположим, что нужно три часа, чтобы высушить рубашку, и пять часов, чтобы высушить пару брюк на солнце. Для этого ChatGPT возвращается к исходному режиму умножения чисел и повторного выдачи вам неправильного ответа.
Это действительно любопытно, потому что людям обычно не нужно проводить пост-настройку или пост-обучение как таковое для такого рода вопросов. Итак, как только вы приобретете эти базовые знания о том, что значит сушить шорты на солнце, вам действительно не нужно будет рассматривать разные случаи и учить себя, следует ли вам пропорционально умножать время сушки или использовать одно и то же. количество, потому что вы можете сушить их одновременно. Если у вас есть эти здравые знания, все в порядке. Самое любопытное в ChatGPT то, что по какой-то причине это очень сбивает с толку.
СТРОГАЦ: Я имею в виду, конечно, что есть люди, которых это тоже запутает, поэтому, если он аккумулирует мудрость Интернета, я в каком-то смысле не так уж удивлен, что у него проблемы с такого рода вопросами. Но, тем не менее, это действительно странно, потому что он может выполнять самые разные, гораздо более сложные вычисления.
Но, как вы говорите, это пример того, что здравый смысл нас подводит. И в одном из ваших выступлений, или, может быть, в одной из ваших статей, я где-то видел, что вы называли здравый ум «темной материей интеллекта».
Я подумал, что это действительно провокационное заявление. Не могли бы вы рассказать нам немного больше о том, что вы подразумеваете под темной материей интеллекта?
ЦОЙ: Да. Итак, причина, по которой я это сказал, заключается в том, что здравый ум на самом деле является негласным правилом того, как устроен мир — как устроен физический мир и как устроен социальный мир. Это действительно повлияло на то, как мы используем язык и интерпретируем его. И это действительно один из ключевых аспектов человеческого интеллекта.
И самое загадочное в здравом смысле то, что люди, по-видимому, легко его приобретают. Я имею в виду, что они есть у каждого, но поразительно сложно записать их, чтобы научить машины правилам, которые мы каким-то образом приобрели. Поэтому долгое время в сфере искусственного интеллекта здравый смысл считался одной из сложнейших проблем, которую необходимо преодолеть.
Тем не менее, я должен признать, что GPT-4, ChatGPT, приобрел действительно впечатляющую долю здравого смысла. Я никогда раньше не видел ничего подобного в ИИ. Так что я не отрицаю, что оно не приобрело никакого здравого смысла. Это действительно приобрело много здравого смысла. Но в отличие от человеческого здравого смысла, который, условно говоря, будет гораздо более устойчив к тем вопросам, которые я демонстрировал ранее (кстати, примеров гораздо больше), машины поразительно хрупки, когда им предоставлены такие примеры. .
И вот почему. Вопросы здравого смысла, как правило, настолько тривиальны, что их не так часто можно встретить в Интернете. Если оно, кстати, появилось, то ChatGPT это усвоил. Итак, в Интернете появляется много здравого смысла, например, что яблоки съедобны — вы знаете, яблоки обычно могут быть красного или зеленого цвета, вероятно, не фиолетового или, ну, синего. Итак, теперь эти вещи приобретаются как своего рода фактические знания. Но есть и другие вещи, о которых не говорят вслух, тогда меньше вероятность, что ChatGPT его присвоил.
СТРОГАЦ: Хм. Так что это вполне понятно, учитывая, что он не может жить в этом мире, верно? Пока что его окном в мир является текст, по крайней мере, так, как их обучают. Пытались ли вы и ваша группа привнести здравый смысл в подобные большие языковые модели?
ЦОЙ: Да. Итак, в моей лаборатории мы пытались изучить, как более эффективно обучать здравому смыслу, возможно, имитируя то, как, когда дети вырастают, они задают много вопросов «почему-то», «почему-то». Такие вопросы взрослые не задают друг другу. Это может быть очевидно для взрослых, но детям в процессе взросления обеспечено немало подобных декларативных описаний здравого смысла.
Итак, мы попытались записать множество таких правил здравого смысла, а затем обучили нейронную сеть. И мы обнаружили, что нейронная сеть действительно может быстро обобщать эти примеры. Так что это один из способов гораздо быстрее научить нейронные сети здравому смыслу, предоставив эту коллекцию декларативных знаний.
Кстати, точно так же, как способ обучения ChatGPT таков, что он будет обучаться всему, что есть в Интернете, к моменту окончания сбора данных он прочитал этот символический граф знаний здравого смысла, который есть в нашей лаборатории. также создаются и публикуются в Интернете.
СТРОГАЦ: Угу. Интересный. Это напоминает мне кое-что, о чем я слышал, когда был профессором Массачусетского технологического института. Там было так много студентов — и, наверное, я бы сказал, профессоров тоже — которым не хватало определенного социального изящества, которые не знали правил того, как люди должны взаимодействовать друг с другом, что существовали курсы, как уроки этикета или уроки манер, это очень явные декларативные инструкции для людей.
ЦОЙ: Да, я имею в виду, что я не видел такого занятия лично, но я вполне могу себе представить, что оно может быть, и некоторым людям это может быть полезно.
СТРОГАЦ: Да, но если бы у вас был учебник для этого курса и если бы это было частью обучения, это могло бы быть полезно и нашим друзьям, ИИ.
ЦОЙ: О, я уверен, что он уже все прочитал.
СТРОГАЦ: Хорошо. Что ж, немного ранее мы говорили о роли эмоций и о том, будет ли полезно для ИИ иметь некоторые эмоциональные способности в обретении здравого смысла. Но оставив это в стороне, я хотел бы вместе с вами изучить некоторые другие вещи, которых у них, в частности, нет. И мне кажется, и я думаю, что другие люди подчеркивали это, что существует множество очень серьезных препятствий на пути к обретению здравого смысла. Потому что, например, у них нет тел. Например, маленький ребенок может падать или играть с игрушками, а у него есть руки, знаете ли.
Им нет места в обществе. Им не обязательно взаимодействовать с другими ИИ или с людьми. Как будто они просто упускают богатство существования. Я думаю, мой вопрос в том, являются ли эти вещи фундаментальными препятствиями? Например, нужно ли нам ждать, пока у нас появятся роботы, которые смогут делать эти вещи, передвигаться в пространстве, иметь эмоции, иметь тела, осуществлять социальное взаимодействие? Может быть, здравый смысл должен подождать всего этого, или это слишком пессимистично?
ЦОЙ: Отличный вопрос. Приятно думать, что из-за отсутствия эмоций и воплощения ИИ, возможно, не сможет зайти слишком далеко. Было бы здорово, если бы это было правдой? Но я не уверен, так ли это, потому что с помощью только языкового интерфейса он все равно может многое, очень многое. Я имею в виду, это одно.
Но помимо этого, независимо от того, лишен ли ИИ истинных эмоций и истинного воплощения, хорошо это или плохо, с одной стороны, это определенно ограничение по сравнению с человеческим интеллектом. Но с другой стороны, вопрос о том, является ли это единственным способом приобрести тот интеллект, которым обладают люди, может быть правдой, а может и нет. Не ясно. Это тот научный вопрос, который еще не так хорошо изучен.
В любом случае, я не обязательно считаю, что нам следует создавать робота, обладающего настоящими эмоциями. Я имею в виду, что ИИ должен обладать эмоциональным интеллектом и осознанностью, чтобы он мог взаимодействовать с людьми приятным и безвредным образом.
СТРОГАЦ: Хм хм.
ЦОЙ: Но когда у ИИ есть свои собственные желания и эмоции, может возникнуть просто интересный интеллектуальный вопрос, но я не уверена с точки зрения пользы для человечества, правильно ли вообще такой вопрос задавать.
Я имею в виду, скажем так, что ИИ влюбляется в другого человека. Мол, он действительно чувствует любовь. Хорошо ли это для человечества? Особенно, если он начнет делать вещи, которые могут быть вредны для других людей, потому что он готов пожертвовать всеми остальными, чтобы служить этому единственному человеку в мире.
СТРОГАЦ: Мм. Мать честная!
ЦОЙ: И потом, я скептически отношусь к тому, что мы сможем зайти так далеко. Потому что особенность био воплощения в том, что человеческие пальцы, например, невероятно ловкие. Мы еще не знаем, как создавать хрупкие суставы, которые могут перемещаться под разными углами. А потом, вы знаете, человеческие вкусовые рецепторы. Нужно ли вообще создавать робота, который мог бы чувствовать запах и вкус так же, как люди? Возможно, это тоже философский вопрос, но лично я не думаю, что так уж важно создавать роботов, которые действительно имитируют все способности человека. Но у нас нет даже технологии.
СТРОГАЦ: Да. Нет, это тоже интересно, поскольку мы сейчас как бы спекулируем и даем волю своему воображению — мы могли бы наделить их другими чувствами, которых у нас сейчас нет. Как, например, сонар, которым пользуются летучие мыши, или электрические рыбы, плавающие в мутной воде, которые могут чувствовать электрические поля. Как будто вы можете себе представить, что у них есть сверхчувства и суперинтеллект. Но, как вы говорите, совсем не очевидно, что делать что-либо из этого — хорошая идея, даже если бы мы могли это сделать.
Так что, возможно, нам следует завершить заключительную часть нашей дискуссии размышлениями над такими вопросами, как политика, прозрачность. Как мы уже упоминали, их создание настолько дорогостоящее занятие, что лишь очень немногие люди или организации принимают решения прямо сейчас, и у них есть собственные данные и методы. Считаете ли вы это большой проблемой в этой области?
ЦОЙ: Это огромная проблема в этой области. Что может пойти не так при такой концентрации власти?
СТРОГАЦ: Да.
ЦОЙ: Я думаю, что непрозрачность данных также способствует возникновению ненужной шумихи и страхов. Возвращаясь к вашему предыдущему примеру того, как ChatGPT может отвечать очень похоже на юриста — он может понимать, а может и не понимать, как люди, и это всего лишь машина, и у нее есть ограничения. Когда он так говорит, говорит ли он это, потому что именно эти данные использовались для адаптации ChatGPT после обучения, чтобы он мог взаимодействовать с людьми более политкорректным способом? Или он действительно приобрел такие способности к самосознанию и самоанализу, чтобы осознать: «О, я всего лишь ИИ, обученный на человеческих данных»? Я думаю, если бы данные после обучения были прозрачными, многие из этих ненужных шумихи были бы устранены.
Кроме того, я думаю, что с точки зрения безопасности ИИ я лично считаю, что большая прозрачность полезна, чтобы мы лучше понимали, где есть ограничения и где недостатки.
СТРОГАЦ: Должны ли правительства навязывать это крупным компаниям? Это то, что вы предлагаете?
ЦОЙ: Вероятно, правительству следует активнее участвовать в обдумывании политики в области ИИ. Однако это очень важная тема, к которой нужно подходить очень осторожно, потому что я вполне могу представить себе политику, которая просто излишне замедляет ход событий, но на самом деле ничего не добавляет, в зависимости от того, как она реализуется.
Так что это усилие, которое требует действительно широкого участия сообщества. Кроме того, необходимо приложить усилия для повышения грамотности в области ИИ среди людей, не входящих в ИИ, — включая политиков, но даже среди ежедневных пользователей ИИ, чтобы они действительно понимали, какими могут быть ограничения этих моделей, и не вызывали чрезмерного доверия.
СТРОГАЦ: Ну, мне вспоминаются давние времена, когда генная инженерия была новинкой, и множество биохимиков и молекулярных биологов собрались вместе, чтобы, своего рода, сами контролировать, какие эксперименты они будут проводить, а какие нет. позволить себе вести.
Интересно, это что-то — вместо того, чтобы заставлять это делать правительства, думаете ли вы, что, может быть, самому сообществу следует объединиться, включая крупные компании? Вы думаете, это правильный путь?
ЦОЙ: В целом, я думаю, существуют коллективные усилия, в ходе которых люди из всех секторов могут внести свой вклад в то, чем ИИ должен и не должен быть, в каком-то декларативном смысле высокого уровня. Мы, вероятно, все согласны с тем, что ИИ не следует использовать для разработки биологического оружия или ИИ не должен пропагандировать расизм и сексизм. Но тогда может появиться больше серых зон, и тогда нам нужно будет подумать, что с этими серыми зонами делать.
СТРОГАЦ: Что вы считаете самой большой опасностью в этой сфере прямо сейчас? Как вы думаете, о чем нам действительно следует беспокоиться?
ЦОЙ: Я думаю, что есть о чем беспокоиться, особенно в ближайшем будущем, например, дезинформация, растущее использование искусственного интеллекта для создания фейковых СМИ для поддержки конкретной политической партии. Это одно, но на самом деле также, казалось бы, безобидные варианты использования, такие как, например, когда люди подделывают свою ленту в социальных сетях, могут иметь более долгосрочные последствия для того, как люди создают и потребляют контент в социальных сетях.
Знаете, кстати, раньше я думал, что Интернет — это побочный продукт человеческого интеллекта, но в ближайшие годы это может измениться. Я слышал, что слишком много людей используют ChatGPT для самых разных письменных работ. Есть даже некоторые статьи, которые начинают использовать ChatGPT, но авторы не потрудились удалить их, когда ChatGPT говорит: «О, это модель ИИ», бла-бла — по крайней мере, им следовало это сделать.
СТРОГАЦ: Я не должен смеяться. Да нет, это серьезно. Но опять же, я имею в виду, давайте будем реальными. У меня есть коллега, очень хороший и честный человек. Английский не является его родным языком, и он рассказал мне, что использует ChatGPT, чтобы улучшить грамматику тезисов своих статей. Знаете, это кажется довольно щадящим использованием. Он написал реферат. Это как будто ему помогает тренер по письму. На самом деле он не предлагает новых идей. Так что эти вещи могут стать хорошими инструментами, если их правильно использовать.
ЦОЙ: Конечно, да, это могло бы помочь людям быстрее выучить язык. Он может помочь в качестве помощника в письме, если его правильно использовать. Но это будет иметь нежелательные побочные эффекты и для людей. Мне действительно интересно, может быть, в конце концов, все будет в порядке, но лично мне интересно, приведет ли это каким-то образом к измеримым изменениям в человеческих способностях к письму и пониманию прочитанного или нет в долгосрочной перспективе.
СТРОГАЦ: Ну, и подведем итоги: единственное, о чем мы часто любим просить наших гостей, поскольку наше шоу называется «Радость почему», — это самим поговорить об эмоциональной стороне того, чтобы быть ученым. Есть ли что-то в ваших исследованиях, что приносит вам особую радость?
ЦОЙ: О да. Отличный вопрос. Многие из этих исследований доставляют радость. Эти вопросы о том, есть ли ограничения в ChatGPT, и если да, то почему? Почему это так хорошо работает, если просто читать интернет-текст? Ищем ответы на эти вопросы «почему». Не знаю почему, но это доставляет мне огромное удовольствие. И, возможно, это один из факторов, отличающих его от человеческого интеллекта и ChatGPT. Мы спрашиваем, почему.
СТРОГАЦ: Да, мы спрашиваем, почему. И большое спасибо за то, что помогли нам понять, почему. Мы говорили с Еджин Цой. Было очень приятно видеть вас сегодня здесь, с нами. Спасибо.
ЦОЙ: Спасибо. Это было так весело.