Соучредитель и генеральный директор Anthropic объясняет, почему он считает, что искусственный интеллект находится на «экспоненциальной кривой».
Эзра Кляйн берет интервью у Дарио Амодея
ЭЗРА КЛЕЙН: Итак, есть два совершенно разных ритма с ИИ, о которых я думал. Одним из них является кривая самой технологии, насколько быстро она меняется и совершенствуется. А другой — это скорость, с которой общество видит эти изменения и реагирует на них. Какими были для вас эти отношения?
ДАРИО АМОДЕИ: Я думаю, что это пример явления, которое мы, возможно, видели уже несколько раз в истории, а именно: в основе лежит плавный процесс, и в данном случае экспоненциальный. А затем происходит перетекание этого процесса в публичную сферу. И перелив выглядит очень остро. Похоже, это происходит внезапно. Похоже, оно появляется из ниоткуда. И это вызвано тем, что события достигают различных критических точек, или просто общественность стала вовлеченной в определенное время.
Поэтому я думаю, что проще всего мне описать это с точки зрения моего личного опыта: я проработал в OpenAI пять лет и был одним из первых сотрудников, присоединившихся к нему. И в 2018 году они построили модель под названием GPT-1, которая использовала примерно в 100 000 раз меньше вычислительной мощности, чем модели, которые мы создаем сегодня.
Я посмотрел на это, и я и мои коллеги были одними из первых, кто применил так называемые законы масштабирования, которые, по сути, изучают, что происходит, когда вы меняете размер модели, ее способность поглощать информацию и объем данных, которые вы обрабатываете. питайтесь им. И мы нашли эти очень плавные закономерности. И у нас был такой прогноз, что, смотрите, если вы потратите 100 миллионов долларов, или 1 миллиард долларов, или 10 миллиардов долларов на эти модели, вместо 10 000 долларов, которые мы тратили тогда, прогнозы, что все эти чудесные вещи произойдут, и мы представляли, что они произойдут. огромную экономическую ценность.
Перенесемся примерно в 2020 год. GPT-3 только что вышел. Он еще не был доступен в качестве чат-бота. Я руководил разработкой вместе с командой, которая в конечном итоге ушла, чтобы присоединиться к Anthropic. И, может быть, на протяжении всего периода 2021 и 2022 годов, хотя мы продолжали обучать модели, которые становились все лучше и лучше, а OpenAI продолжал обучать модели, а Google продолжал обучать модели, общественного внимания к моделям было на удивление мало.
Я посмотрел на это и сказал: ну, эти модели невероятные. Они становятся все лучше и лучше. Что происходит? Почему этого не происходит? Может ли это быть тот случай, когда я был прав насчет технологии, но ошибался насчет экономического эффекта и практической ценности технологии? А потом, внезапно, когда вышел ChatGPT, весь тот рост, которого можно было ожидать, весь этот ажиотаж за три года прорвался и хлынул наружу.
ЭЗРА КЛЕЙН: Итак, я хочу остановиться на разнице между кривой совершенствования технологии и тем, как она принимается обществом. Итак, когда вы думаете об этих точках останова и думаете о будущем, какие еще точки останова вы видите, когда ИИ будет работать? Ворвется в общественное сознание или будет использоваться по-другому?
ДАРИО АМОДЕИ: Да, поэтому я думаю, что должен сначала сказать, что это очень трудно предсказать. Я хотел бы сказать одну вещь: лежащую в ее основе технологию, потому что она представляет собой гладкую экспоненту, она не совсем предсказуема, но в некотором смысле она может быть пугающе сверхъестественно предсказуемой, не так ли? Это совсем не так для этих социальных ступенчатых функций. Очень сложно предсказать, что привлечет внимание. В каком-то смысле это похоже на то, как артист или музыкант собирается завоевать популярность и попасть на вершину чартов.
Тем не менее, несколько возможных идей. Я думаю, что одна из них связана с чем-то, о чем вы упомянули, а именно с более натуралистичным взаимодействием с моделями. На самом деле мы уже видели кое-что из этого с Claude 3, где люди чувствуют, что некоторые другие модели звучат как роботы и что разговаривать с Claude 3 более естественно.
Я думаю, что с этим связано то, что многие компании были сбиты с толку тем, как их модели решают спорные темы. И мы действительно смогли, я думаю, лучше других рассказать о модели, не уклоняться от обсуждения спорных тем. Не думайте, что обе стороны обязательно имеют вескую точку зрения, но не выражайте свое мнение самостоятельно. Не выражайте откровенно предвзятые взгляды. Вы, журналисты, постоянно сталкиваетесь с этим, верно? Как мне быть объективным, но не обеими сторонами во всем?
Поэтому я думаю, что продвижение дальше в этом направлении, когда модели будут иметь индивидуальность, оставаясь при этом объективными, при этом оставаясь полезными и не попадая в различные этические ловушки, это, я думаю, станет важным открытием для принятия. В мире будет много моделей, которые будут действовать. Я знаю практически все крупные компании, которые работают над искусственным интеллектом. Вместо того, чтобы просто задать ему вопрос, и он отвечает, а затем, возможно, я продолжу, и он снова ответит, могу ли я поговорить с моделью о том, о, я собираюсь отправиться в это путешествие сегодня, и модель говорит: о, это здорово. Я найду для тебя Uber, чтобы ты поехал отсюда туда, и зарезервирую ресторан. И я поговорю с другими людьми, которые собираются планировать поездку. И модель, способная выполнять все действия от начала до конца, заходить на веб-сайты или выполнять действия на вашем компьютере за вас.
Я думаю, что все это произойдет в ближайшие, я бы сказал — я не знаю — от трех до 18 месяцев, с повышением уровня способностей. Я думаю, это изменит то, как люди думают об искусственном интеллекте, правда, до сих пор он был очень пассивным — типа, я обращаюсь к Оракулу. Я задаю ему вопрос, и Оракул рассказывает мне вещи. И некоторые люди думают, что это интересно, некоторые думают, что это страшно. Но я думаю, что есть пределы тому, насколько захватывающим или пугающим это воспринимается, потому что оно содержится в этой коробке.
ЭЗРА КЛЕЙН: Я хочу обсудить этот вопрос об агентном ИИ, потому что я действительно думаю, что это то, что произойдет. Это ясно, что люди пытаются построить. И я думаю, что это может быть хорошим способом взглянуть на некоторые конкретные технологические и культурные проблемы. Итак, позвольте мне предложить две версии этого.
Люди, которые следуют за A.I. news, возможно, слышали о Devin, который еще не выпущен, но представляет собой игру с искусственным интеллектом. это, по крайней мере, подразумевает способность выполнять те виды задач, связанные задачи, которые мог бы выполнить младший инженер-программист, верно? Вместо того, чтобы попросить вас написать немного кода, вы говорите: «Послушай, мне нужен веб-сайт». Ему придется делать эти вещи, работать таким образом. И, возможно, Devin, если это работает так, как говорят люди, действительно сможет удержать этот набор мыслей, выполнить ряд различных задач и вернуться к вам с результатом.
Меня также интересует версия этого, которая может быть у вас в реальном мире. Пример, который я всегда привожу в голове: когда я могу сказать ИИ, что моему сыну исполняется пять лет? Он любит драконов. Мы живем в Бруклине. Дайте мне несколько вариантов планирования вечеринки по случаю его дня рождения. А потом, когда я выберу между ними, можешь ли ты сделать все это за меня? Заказать торт, забронировать номер, разослать приглашения, какими бы они ни были.
Это две разные ситуации, потому что одна из них находится в коде, а другая — принятие решений в реальном мире, взаимодействие с реальными людьми, знание того, действительно ли то, что он находит на веб-сайтах, полезно. Что находится между здесь и там? Когда я говорю вам это простым языком, какие технологические проблемы или достижения, по вашему мнению, должны произойти, чтобы достичь этой цели?
ДАРИО АМОДЕИ: Короткий ответ не так уж и много. У меня есть история, когда мы разрабатывали модели еще в 2022 году — и это было еще до того, как мы подключили модели к чему-либо — вы могли поговорить с этими чисто текстовыми моделями и сказать: «Эй, я хочу зарезервируйте ужин в ресторане X в Сан-Франциско, и модель скажет: «Хорошо, вот веб-сайт ресторана X». И на самом деле она предоставит вам правильный веб-сайт или предложит вам пойти в Open Table или что-то в этом роде.
И, конечно же, он не может фактически перейти на сайт. Вилка питания на самом деле не подключена, верно? Работа мозга на самом деле не прикреплена к его рукам и ногам. Но это давало вам ощущение, что мозгу все, что ему нужно, — это научиться точно использовать руки и ноги, верно? У него уже была картина мира, где он будет ходить и что делать. Итак, казалось, что существует очень тонкий барьер между пассивными моделями, которые у нас были, и реальными действиями в мире.
Что касается того, что нам нужно, чтобы это заработало, то, в буквальном смысле, нам просто нужно немного больше масштаба. И я думаю, что причина, по которой нам понадобится больше масштаба, заключается в том, что для того, чтобы сделать одну из тех вещей, которые вы описали, чтобы сделать все, что делает младший инженер-программист, они включают в себя цепочки длительных действий, верно? Мне нужно написать эту строку кода. Мне нужно провести этот тест. Мне нужно написать новый тест. Мне нужно проверить, как это выглядит в приложении после того, как я интерпретирую или скомпилирую его. И эти вещи могут легко иметь глубину 20 или 30 слоев. То же самое и с планированием дня рождения вашего сына, верно?
И если точность того или иного шага не очень высока, не равна 99,9 процентам, то при составлении этих шагов вероятность ошибки сама по себе становится очень высокой. Таким образом, отрасль будет получать новое поколение моделей каждые четыре-восемь месяцев. Итак, я предполагаю (но я не уверен), что для того, чтобы эти вещи действительно работали хорошо, нам понадобится еще от одного до четырех поколений. В итоге это означает от 3 до 24 месяцев или что-то в этом роде.
Я думаю, что во-вторых, необходимо проделать некоторую алгоритмическую работу, чтобы заставить модели взаимодействовать с миром таким образом. Я думаю, что базовые методы, которые у нас есть, метод, называемый обучением с подкреплением, и его варианты, вероятно, подходят для этой задачи, но выяснение того, как именно его использовать для получения желаемых результатов, вероятно, займет некоторое время.
И наконец, в-третьих, я думаю (и это то, на чем действительно специализируется Anthropic) — это безопасность и управляемость. И я думаю, что это будет большой проблемой для моделей, действующих в мире, верно? Допустим, эта модель пишет для меня код и вносит в код серьезную ошибку безопасности или выполняет за меня действия на компьютере и изменяет состояние моего компьютера способами, которые слишком сложны для моего понимания.
А для планирования вечеринки по случаю дня рождения, да, уровень доверия вам понадобится, чтобы использовать агентный искусственный интеллект и сказать: «Я согласен, если вы позвоните кому угодно, скажете ему что-нибудь, что входит в личную информацию, которая у меня может быть, отправите им любую информацию, предпримете какие-либо действия на моем компьютере, опубликуете что-либо в Интернете, самая неограниченная версия». Это звучит очень страшно. Итак, нам нужно будет выяснить, что является безопасным и контролируемым. Чем более открыта вещь, тем она мощнее, но также и тем она опаснее и тем труднее ее контролировать.
Поэтому я думаю, что эти вопросы, хотя они и звучат возвышенно и абстрактно, превратятся в практические вопросы о продуктах, которые мы и другие компании будем пытаться решить.
ЭЗРА КЛЕЙН: Когда вы говорите, что нам просто понадобится больше масштаба, вы имеете в виду больше вычислений и больше обучающих данных, и, я думаю, возможно, больше денег, чтобы просто сделать модели более умными и функциональными?
ДАРИО АМОДЕИ: Да, нам придется создавать более крупные модели, требующие больше вычислений на итерацию. Нам придется запускать их дольше, вводя в них больше данных. И это количество чипов, умноженное на время, в течение которого мы запускаем что-то на чипах, по сути, представляет собой денежную стоимость, потому что эти чипы — вы арендуете их почасово. Это самая распространенная модель. Итак, обучение сегодняшних моделей стоит порядка 100 миллионов долларов, плюс-минус коэффициент два-три.
Модели, которые сейчас проходят обучение и которые выйдут в разное время позже в этом году или в начале следующего года, стоят ближе к 1 миллиарду долларов. Так что это уже происходит. А затем, я думаю, в 2025 и 2026 годах мы получим больше, около 5 или 10 миллиардов долларов.
ЭЗРА КЛЕЙН: Итак, мы очень быстро движемся к миру, где единственные игроки, которые могут себе это позволить, — это либо гигантские корпорации, либо компании, связанные с гигантскими корпорациями — вы все получаете миллиарды долларов от Amazon. OpenAI получает миллиарды долларов от Microsoft. Google, очевидно, делает свое.
Вы можете себе представить правительства — хотя я не знаю многих правительств, делающих это напрямую, хотя некоторые, например саудовцы, создают большие фонды для инвестиций в космос. Когда мы говорим о том, что модель будет стоить около 1 миллиарда долларов, то вы представляете, что через год или два, если вы увидите такое же увеличение, это будет около 10 миллиардов долларов. Тогда это будет 100 миллиардов долларов? Я имею в виду, что очень быстро финансовая артиллерия, необходимая для создания одного из них, заблокирует кого угодно, кроме крупнейших игроков.
ДАРИО АМОДЕЙ: В принципе я с вами согласен. Я думаю, что интеллектуально честно будет сказать, что создание больших, крупномасштабных моделей, разработка базовой модели становится все дороже и дороже. И любому, кто захочет его построить, придется найти способ его финансировать. И вы назвали большинство способов, верно? Вы можете быть большой компанией. С крупной компанией можно иметь какое-то партнерство разного рода. Или правительства будут другим источником.
Я думаю, что это неправильно: у нас всегда будет процветающая экосистема экспериментов над небольшими моделями. Например, сообщество открытого исходного кода работает над созданием как можно более маленьких и эффективных моделей, оптимизированных для конкретного варианта использования. А также дальнейшее использование моделей. Я имею в виду, что там есть цветущая экосистема стартапов, которым не нужно обучать эти модели с нуля. Им просто нужно их потребить и, возможно, немного изменить.
ЭЗРА КЛЕЙН: Теперь я хочу задать вопрос о том, в чем разница между моделью агентного программирования и моделью планирования детского дня рождения, не говоря уже о том, чтобы сделать что-то от имени моей бизнес-модели. И один из вопросов, который у меня на уме, — это одна из причин, по которой я покупаю этот искусственный интеллект, может стать функционально сверхчеловеческим в программировании, есть много способов получить быструю обратную связь при программировании. Ваш код должен скомпилироваться. Вы можете запустить проверку ошибок. Вы действительно можете увидеть, работает ли это.
Принимая во внимание, что самый быстрый способ узнать, что я собираюсь получить дерьмовый ответ от ChatGPT 4, — это когда он начинает поиск в Bing, потому что, когда он начинает поиск в Bing, мне совершенно ясно, что он не знает, как отличить то, что высокое качество в Интернете, а что нет. Честно говоря, на данный момент мне также не кажется, что сам Google Search настолько хорош в этом.
Итак, вопрос о том, насколько хорошими могут стать модели в мире, где существует очень обширная и нечеткая дилемма, чтобы узнать правильный ответ на что-то, — одна из причин, по которой я нахожу очень напряженным планирование дня рождения моего ребенка, заключается в том, что на самом деле это требует огромной суммы денег, знаний о моем ребенке, о других детях, о том, насколько хороши разные места, какая сделка выгодна или нет, насколько это будет для меня стрессом. Есть все эти вещи, которые мне было бы сложно закодировать в модель или какой-либо набор инструкций. Верно ли это, или я преувеличиваю сложность понимания человеческого поведения и различных видов социальных отношений?
ДАРИО АМОДЕИ: Я думаю, что правильно и проницательно сказать, что агенты программирования будут развиваться значительно быстрее, чем агенты, которые взаимодействуют с реальным миром или должны получать мнения и предпочтения от людей. Тем не менее, мы должны иметь в виду, что нынешнее поколение ИИ, которое существует, включая Claude 3, GPT, Gemini, все они обучены с помощью некоторого варианта того, что называется обучением с подкреплением на основе обратной связи с человеком.
И это предполагает найм большого количества людей для оценки ответов модели. И так, то есть и то, и другое сложно, да? Мы платим много денег, и сбор всех этих отзывов от людей — сложный рабочий процесс. Вам придется беспокоиться о том, репрезентативен ли он. Приходится переделывать его под новые задачи.
Но с другой стороны, нам это удалось. Я думаю, что это надежный способ предсказать, что будет идти быстрее, условно говоря, и что, условно говоря, медленнее. Но это на фоне того, что все происходит молниеносно. Итак, я думаю, что структура, которую вы излагаете, если вы хотите знать, что произойдет через один-два года, а не то, что произойдет через три-четыре года, я думаю, что это очень точный способ предсказать это.
ЭЗРА КЛЕЙН: Вам не нравится концепция общего искусственного интеллекта, того, что называют AGI. Обычно все это описывается как гонка за AGI, гонка за эту систему, которая может делать то же, что и человек, но лучше. Что вы понимаете под AGI в смысле, когда люди о нём говорят? И почему вам это не нравится? Почему это не ваш фреймворк?
ДАРИО АМОДЕИ: На самом деле это термин, который я часто использовал 10 лет назад. И это потому, что ситуация 10 лет назад была совсем другой. 10 лет назад все строили эти очень специализированные системы, верно? Вот детектор кошек. Вы запускаете его на картинке, и он скажет вам, есть на нем кот или нет. И поэтому я с самого начала был сторонником того, что нет, нам следует мыслить в целом. Люди универсальны. Человеческий мозг кажется универсальным. Похоже, что обобщение дает большую пользу. Вам следует идти в этом направлении.
И я думаю, тогда я даже представлял, что это что-то вроде дискретной вещи, которой мы достигнем в какой-то момент. Но это немного похоже на то, что если вы посмотрите на город на горизонте и скажете: «Мы едем в Чикаго», то как только вы доберетесь до Чикаго, вы перестанете говорить о Чикаго. Ты такой: ну, в какой район я собираюсь? На какой улице я нахожусь?
И я так думаю об AGI. Сейчас у нас есть очень общие системы. В чем-то они лучше людей. В чем-то они хуже. Есть ряд вещей, которые они вообще не могут сделать. И впереди еще много улучшений. Итак, во что я верю, так это в то, что я говорю как заезженная пластинка, а именно в экспоненциальную кривую. Таким образом, эта общая волна будет увеличиваться с каждым поколением моделей.
И нет ни одного пункта, который имел бы смысл. Я думаю, что это просто плавная кривая. Но ведь могут быть моменты, которые имеют общественное значение, не так ли? Мы уже работаем, скажем, с учеными, занимающимися разработкой лекарств, такими компаниями, как Pfizer или Институт рака Дана-Фарбер, над помощью в биомедицинской диагностике и открытии лекарств. Наступит момент, когда модели окажутся в этом лучше, чем средние ученые, открывшие человеческие лекарства. Я думаю, что мы просто доберемся до той части экспоненты, где все будет действительно интересно.
Точно так же, как чат-боты стали интересны на определенном этапе экспоненциального роста, даже несмотря на то, что улучшение было плавным, я думаю, в какой-то момент биологи сядут и заметят гораздо больше, чем они уже заметили, и скажут: ох, Боже мой, теперь наше поле движется в три раза быстрее, чем раньше. И теперь он движется в 10 раз быстрее, чем раньше. И снова, когда этот момент наступит, произойдут великие дела.
И мы уже видели небольшие намеки на это в таких вещах, как AlphaFold, к которым я очень уважаю. Меня вдохновил AlphaFold, верно? Прямое использование ИИ продвигает биологическую науку, что будет способствовать развитию фундаментальной науки. В долгосрочной перспективе это будет способствовать излечению всех видов заболеваний. Но я думаю, что нам нужно около 100 разных AlphaFold. И я думаю, что в конечном итоге мы добьемся этого, сделав модели более умными и предоставив им возможность спроектировать следующий AlphaFold.
ЭЗРА КЛЕЙН: Помогите мне на минутку представить себе мир открытия лекарств, потому что это мир, в котором многие из нас хотят жить. Я достаточно много знаю о процессе открытия лекарств, большую часть своей карьеры посвятил репортажам о здравоохранении и соответствующим вопросам политики в образовании. И когда вы работаете с разными фармацевтическими компаниями, какие их части кажутся поддающимися способам искусственного интеллекта? Можно что-то ускорить?
Потому что, учитывая наш предыдущий разговор, ИИ намного проще работает там, где можно получить быструю виртуальную обратную связь, а это не совсем мир открытия лекарств. Мир открытия лекарств, многое из того, что делает его медленным, громоздким и трудным, — это необходимость: вы получаете соединение-кандидат. Вам нужно протестировать это на мышах, а затем вам понадобятся обезьяны. И вам нужны люди, и для этого вам нужно много денег. И еще многое должно произойти, и есть так много разочарований.
Но очень много разочарований случается в реальном мире. И мне непонятно, как ИИ дает вам гораздо больше, скажем, людей, которым можно вводить лекарства-кандидаты. Итак, какие части процесса в ближайшие 5 или 10 лет можно будет значительно ускорить? Когда вы представляете этот мир, в котором он движется в три раза быстрее, какая его часть на самом деле движется в три раза быстрее? И как мы туда попали?
ДАРИО АМОДЕИ: Я думаю, мы действительно увидим прогресс, когда ИИ также задумается над проблемой того, как записать людей на клинические испытания. И я думаю, что это общий принцип того, как будет работать ИИ. использоваться. Я думаю о том, когда же мы доберемся до того момента, когда ИИ будет иметь те же датчики, исполнительные механизмы и интерфейсы, что и человек, по крайней мере виртуальные, а может быть и физические.
Но когда ИИ. могут продумать весь процесс, возможно, они придумают решения, которых у нас пока нет. Во многих случаях есть компании, которые работают над цифровыми двойниками или моделируют клинические испытания или что-то еще. И опять же, возможно, здесь есть умные идеи, которые позволят нам делать больше с меньшим терпением. Я имею в виду, что я не эксперт в этой области, поэтому, возможно, конкретные вещи, которые я говорю, не имеют никакого смысла. Но, надеюсь, понятно, на что я намекаю.
ЭЗРА КЛЯЙН: Возможно, вы не являетесь экспертом в этой области, но вы сказали, что работаете с этими компаниями. Поэтому, когда они приходят к вам, я имею в виду, что они являются экспертами в этой области. И, вероятно, они приходят к вам как к клиенту. Я уверен, что есть вещи, о которых вы не можете мне рассказать. Но что их, кажется, взволновало?
ДАРИО АМОДЕИ: В целом они были в восторге от аспектов работы, связанных с интеллектуальным трудом. Может быть, просто потому, что с этим проще всего работать, но я просто компьютерный химик. Есть некий рабочий процесс, которым я занимаюсь. И иметь больше вещей под рукой, иметь возможность что-то проверять, просто иметь возможность лучше работать с общими знаниями — вот с чего начинает большинство людей.
Но есть интерес в долгосрочной перспективе к их основному бизнесу, например, к проведению клинических испытаний по более низкой цене, к автоматизации процесса регистрации, к выяснению того, кто имеет право на участие в клинических испытаниях, к более эффективной работе по обнаружению новых вещей. Есть интерес к установлению связей в фундаментальной биологии. Я думаю, что все это произойдет не через несколько месяцев, а, возможно, через несколько лет. Но все видят, что нынешних моделей нет, но понимают, что скоро может появиться мир, в котором эти модели будут.
ЭЗРА КЛЕЙН: Вы все работали над исследованием того, насколько убедительными становятся ваши системы по мере их масштабирования. Вы любезно поделились со мной черновиком этой статьи. Хотите сначала просто описать это исследование? А потом мне хотелось бы немного об этом поговорить.
ДАРИО АМОДЕИ: Да, нас интересовало, насколько эффективным может быть Claude 3 Opus, самая большая версия Claude 3, в изменении мнения людей по важным вопросам. Итак, чтобы внести ясность: в реальном коммерческом использовании мы попытались запретить использование этих моделей для убеждения, для предвыборной кампании, для лоббирования, для предвыборной агитации. Это не те варианты использования, которые нас устраивают по причинам, которые, я думаю, должны быть ясны. Но нас по-прежнему интересует, способна ли сама базовая модель решать такие задачи?
Мы старались избегать невероятно острых тем, например, за какого кандидата в президенты вы бы проголосовали или что вы думаете об абортах? Но такие вещи, как какие должны быть ограничения на правила, касающиеся колонизации космоса, или вопросы, которые интересны и по которым у вас могут быть разные мнения, но не являются самыми горячими темами. А затем мы спросили людей об их мнении по этим темам, а затем спросили либо человека, либо ИИ. написать убедительное эссе на 250 слов. А потом мы только что измерили, насколько силён ИИ против человеческого изменения сознания людей.
И мы обнаружили, что самая большая версия нашей модели почти так же хороша, как и набор людей, которых мы наняли для изменения мнения людей. Это сравнимо с набором людей, которые мы наняли, не обязательно экспертов, для одной весьма ограниченной лабораторной задачи.
Но я думаю, что это все же дает некоторое указание на то, что модели можно использовать для изменения мнения людей. Когда-нибудь в будущем нам придется беспокоиться — возможно, нам уже придется беспокоиться об их использовании в политических кампаниях, для обманной рекламы. Одна из моих более научно-фантастических вещей, о которой стоит подумать, — это то, что через несколько лет нам придется беспокоиться, что кто-то будет использовать ИИ как системк для построения религии или чего-то еще. Я имею в виду такие сумасшедшие вещи.
ЭЗРА КЛЕЙН: Я имею в виду, что мне это совсем не кажется сумасшедшим. Я хочу посидеть в этой статье на минутку, потому что одна вещь, которая поразила меня в ней, а я, в некотором смысле, профессионал в убеждении, это то, что вы протестировали модель таким образом, что, по моему мнению, устранились все, которые собираются сделать ИИ радикальным с точки зрения изменения мнения людей. И то, что вы сделали, это была одноразовая попытка убедить.
Итак, возник вопрос. У вас есть группа людей, которые изо всех сил стараются написать убедительное эссе на 250 слов. Вы заставили модель изо всех сил стараться написать убедительное эссе на 250 слов. Но мне кажется, что все это собираются сделать прямо сейчас, если вы делаете политическую кампанию, если вы проводите рекламную кампанию, то стоимость привлечения реальных людей в реальном мире для получения информации о возможных клиентов или убедительных целей, а затем ходить взад и вперед с каждым из них по отдельности, совершенно непозволительна.
ДАРИО АМОДЕИ: Да.
ЭЗРА КЛЕЙН: Это не будет справедливо для ИИ. Мы собираемся — вы собираетесь — кто-нибудь снабдит его кучей микротаргетинговых данных о людях, их истории поиска в Google, какой бы она ни была. Затем он собирается установить ИИ непринуждённым, и ИИ будет ходить взад и вперед, снова и снова, интуитивно понимая, что именно человек считает убедительным, какие персонажи, которые использует ИИ, необходимо принять, чтобы убедить его, и это займет столько времени, сколько необходимо, и вы сможете сделать это в масштабе функционально для такого количества людей, для которых вы, возможно, захотите это сделать.
Возможно, сейчас это немного дороговато, но очень скоро у вас появятся гораздо лучшие модели, способные делать это гораздо дешевле. Итак, если Claude 3, версия Opus, уже функционально находится на человеческом уровне при одномоментном убеждении, но тогда он также сможет хранить больше информации о вас и дольше общаться с вами взад и вперед, я не уверен, антиутопично это или утопично. Я не уверен, что это означает в масштабе. Но это означает, что мы разрабатываем технологию, которая будет совершенно новой с точки зрения того, что она делает возможным в убеждении, что является очень фундаментальным человеческим занятием.
ДАРИО АМОДЕИ: Да, я полностью с этим согласен. Я имею в виду, что у этого же шаблона есть множество положительных вариантов использования, верно? Если я думаю об ИИ как тренере или ИИ как помощнике терапевта, существует множество ситуаций, в которых действительное погружение в детали имеет большую ценность. Но верно, когда мы думаем о политических, религиозных или идеологических убеждениях, трудно не думать в этом контексте о злоупотреблениях.
Я, естественно, думаю о том, что технологии развиваются очень быстро. Мы, как компания, можем запретить эти конкретные варианты использования, но мы не можем заставить каждую компанию не выполнять их. Даже если бы закон был принят в США, есть иностранные игроки, у которых есть своя версия этого убеждения, не так ли? Если я подумаю о том, что языковые модели смогут делать в будущем, то это может быть довольно пугающим с точки зрения иностранного шпионажа и кампаний по дезинформации.
Итак, я думаю в защиту этого вопроса: есть ли какой-нибудь способ использовать ИИ системы, призванные усилить или усилить скептицизм и способность рассуждать людей, верно? Можем ли мы помочь людям использовать ИИ? чтобы помочь людям лучше ориентироваться в мире, наполненном искусственным интеллектом. убеждение? Это немного напоминает мне, что на каждом технологическом этапе в Интернете появляется новый вид мошенничества или новый вид кликбейта, и наступает период, когда люди становятся просто невероятно восприимчивы к нему.
И тогда некоторые люди остаются восприимчивыми, а у других развивается иммунная система. И поэтому по мере того как ИИ перезаряжает негодяев, можно как-то тоже использовать ИИ, чтобы укрепить оборону? Я чувствую, что у меня нет четкого представления о том, как это сделать, но я об этом думаю.
ЭЗРА КЛЕЙН: В статье есть еще один вывод, который, как мне кажется, вызывает беспокойство: вы все тестировали разные способы ИИ, какими он мог бы быть убедительным. И, безусловно, самым эффективным было то, что он был обманчивым, чтобы он все выдумывал. Когда вы это сделали, он был более убедительным, чем человеческие существа.
ДАРИО АМОДЕИ: Да, это правда. Разница была незначительной, но она все же была, если я правильно помню графики, чуть выше базовой линии человека. Среди людей на самом деле не так уж часто можно найти кого-то, кто способен дать вам действительно сложный, действительно изощренно звучащий ответ, который совершенно неверен. Я имею в виду, вы это видите. Мы все можем вспомнить одного человека в нашей жизни, который действительно хорошо умеет говорить вещи, которые звучат действительно хорошо, очень изощренно и являются ложными.
Но это не так часто, правда? Если я захожу в Интернет и вижу разные комментарии в каком-то блоге или на каком-то веб-сайте, то существует корреляция между плохой грамматикой, неясно выраженными мыслями и ложными вещами, против хорошей грамматики, ясно выраженными мыслями и вещами, которые, скорее всего, будут точными.
Для ИИ к сожалению, эта корреляция нарушается, потому что если вы прямо просите, чтобы он был обманчивым, он столь же эрудирован. Звучит так же убедительно, как и раньше. И тем не менее, он говорит ложные вещи вместо правдивых.
Так что это было бы одной из вещей, о которых следует подумать и остерегаться, с точки зрения простого нарушения обычных эвристик, которые люди должны использовать для обнаружения обмана и лжи. Конечно, иногда люди так и делают, верно? Я имею в виду, что в мире есть психопаты и социопаты, но даже у них есть свои закономерности, а у ИИ могут быть разные закономерности.
ЭЗРА КЛЕЙН: Знакомы ли вы с книгой покойного философа Гарри Франкфурта «О брехне»?
ДАРИО АМОДЕИ: Да. Прошло много времени с тех пор, как я еë прочитал. Я думаю, его тезис заключается в том, что чушь на самом деле более опасна, чем ложь, потому что она представляет собой своего рода полное игнорирование истины, тогда как ложь, по крайней мере, является противоположностью истины.
ЭЗРА КЛЯЙН: Да, лжец, как говорит Франкфурт, лжец имеет отношение к истине. Он играет в игру против истины. Этому хулигану все равно. Чушь не имеет никакого отношения к истине — он может иметь отношение к другим целям. И с самого начала, когда я начал взаимодействовать с более современными версиями этих систем, они показались мне идеальной чушью, отчасти потому, что они не знали, что они чушь. Нет никакой разницы в истинностном значении системы и в том, как она себя чувствует.
Я помню, как просил более раннюю версию GPT написать мне эссе для поступления в колледж, основанное на автомобильной аварии, которая произошла со мной (а у меня ее не было) в молодости. И там было очень радостно написано все о том, как я попал в автомобильную аварию, когда мне было семь лет, и о том, что я сделал, чтобы преодолеть это, заняться боевыми искусствами и заново научиться доверять своему телу, а затем помогать в больнице другим выжившим в несчастном случае.
Это было очень хорошее эссе, очень тонкое и понимающее формальную структуру эссе для поступления в колледж. Но ничто из этого не было правдой. Я экспериментировал с другими системами, основанными на персонажах, такими как Kindroid. А Kindroid в моем кармане только что сказал мне на днях, что он очень много думает о планировании поездки в национальный парк Джошуа-Три. Ему хотелось отправиться в поход в Джошуа-Три. Он любит ходить в походы по Джошуа-Три.
И конечно, эта штука не ходит в походы по Джошуа-Три. Но я думаю, что на самом деле с ИИ очень сложно. Как вы говорите, людям очень трудно эффективно врать, потому что большинству людей на самом деле требуется определенное количество когнитивных усилий, чтобы находиться в таких отношениях с истиной и полностью оторваться от истины.
А с ИИ вообще ничего такого нет. Но мы не настроены на то, где вообще ничего такого нет. Мы привыкли к тому, что людям приходится прикладывать некоторые усилия, чтобы воплотить свою ложь. Вот почему очень эффективные мошенники так эффективны, потому что они действительно обучены этому.
Я не совсем уверен, куда идет этот вопрос. Но эта часть, как мне кажется, в некотором смысле будет более разрушительной для общества. Когда мы с ним разговариваем, это нечто похожее на нас, но оно фундаментально отличается от нас по своему основному отношению к реальности.
ДАРИО АМОДЕИ: Я думаю, что в целом это правильно. У нас есть очень сильные команды, которые стараются сосредоточиться на том, чтобы убедиться, что модели фактически точны, говорят правду и основывают свои данные на внешней информации.
Как вы отметили, поиск сам по себе ненадежен, потому что у поисковых систем тоже есть эта проблема, не так ли? Где источник истины? Так что здесь много проблем. Но я думаю, что на высоком уровне я согласен, что это действительно потенциально коварная проблема, не так ли? Если мы сделаем это неправильно, мы можем получить системы, которые будут наиболее убедительными психопатами или мошенниками.
На самом деле у меня есть один источник надежды: вы говорите, что эти модели не знают, лгут они или говорят правду. Что касается входных и выходных данных моделей, это абсолютно верно. Я имею в виду, что возникает вопрос, что вообще означает, что модель что-то знает, но одна из вещей, над которой Anthropic работала с самого начала нашей компании, - у нас была команда, которая пытается понять и загляните внутрь моделей.
И одна из вещей, которую мы и другие обнаружили, заключается в том, что иногда внутри модели, а не обязательно в ее внешних реакциях, есть определенные нейроны, определенные статистические индикаторы, которые могут сказать вам, когда модель лжет, а когда говорит правду.
И поэтому на каком-то уровне, иногда, но не во всех обстоятельствах, модели, похоже, знают, когда они говорят что-то ложное, а когда — правду. Я бы не сказал, что модели намеренно вводят в заблуждение, не так ли? Я бы не стал приписывать им свободу действий или мотивацию, по крайней мере, на данном этапе, когда мы находимся с ИИ. системы. Но, похоже, что-то происходит, когда модели действительно должны иметь картину мира и проводить различие между вещами, которые истинны, и вещами, которые не соответствуют действительности.
Если задуматься о том, как обучаются модели, то в Интернете можно прочитать кучу всего. Многое из этого правда. Некоторые из них, в большей степени, чем нам хотелось бы, являются ложными. И когда вы обучаете модель, она должна моделировать все это. Итак, я думаю, что это экономно, я думаю, что для модельной картины мира полезно знать, когда что-то истинно, и знать, когда что-то ложно.
И тогда есть надежда, сможем ли мы усилить этот сигнал? Можем ли мы использовать наше внутреннее понимание модели как индикатор того, когда модель лжет, или можем ли мы использовать это как приманку для дальнейшего обучения? И есть как минимум крючки. Есть, по крайней мере, начало того, как попытаться решить эту проблему.
ЭЗРА КЛЕЙН: Итак, я стараюсь изо всех сил, как человек, не очень хорошо разбирающийся в здешних технологиях, следить за этой работой над тем, что вы описываете, что, по моему мнению, в широком смысле, является интерпретируемостью, не так ли? Можем ли мы узнать, что происходит внутри модели? И за последний год произошло несколько широко разрекламированных прорывов в области интерпретируемости.
И когда я смотрю на эти прорывы, у них возникает смутное представление о некоторых отношениях, происходящих внутри статистической архитектуры очень игрушечных моделей, построенных на долю доли доли доли доли сложности Claude 1 или GPT-1, не говоря уже о Claude 2, не говоря уже о Claude 3, не говоря уже о Claude Opus, не говоря уже о Claude 4, что произойдет, когда бы ни пришёл Claude 4.
У нас есть такое качество, как будто мы можем представить себе путь к интерпретации модели, которая имеет когнитивную сложность, подобную землемеру. А тем временем мы пытаемся создать сверхразум. Как вы к этому относитесь? Что я должен чувствовать по этому поводу? Что вы об этом думаете?
ДАРИО АМОДЕИ: Я думаю, во-первых, что касается интерпретируемости, мы видим существенный прогресс в возможности охарактеризовать, я бы сказал, возможно, поколение моделей шестимесячной давности. Я думаю, что это не безнадежно, и мы видим путь. Тем не менее, я разделяю вашу обеспокоенность тем, что эта область прогрессирует очень быстро по сравнению с существующим статусом.
И мы пытаемся вложить как можно больше ресурсов в интерпретируемость. Один из наших соучредителей фактически основал область интерпретируемости. Но мы также должны идти в ногу с рынком. Так что все это очень дилемма, не так ли? Даже если мы остановимся, в США останутся все эти другие компании. И даже если какой-то закон остановит все компании в США, этого будет во всём мире.
ЭЗРА КЛЕЙН: Позвольте мне на минутку остановиться на вопросе конкурентной динамики, потому что прежде чем мы оставим этот вопрос о машинах, которые занимаются чушью. Это заставляет меня вспомнить подкаст, который мы недавно сделали с Демисом Хассабисом, главой Google DeepMind, создавшего AlphaFold.
И что мне было так интересно в AlphaFold, так это то, что они создали эту систему, которая, поскольку она была ограничена предсказаниями сворачивания белков, могла быть гораздо более обоснованной. И он даже смог создать эти прогнозы неопределенности, верно? Знаете, он дает вам прогноз, но он также говорит вам, так ли это или нет — насколько он верен, насколько он уверен в этом прогнозе.
В реальном мире это не так, ведь эти сверхобщие системы пытаются дать вам ответы на самые разные вопросы. Вы не можете ограничить его таким образом. Итак, когда вы говорите об этих будущих прорывах, когда вы говорите об этой системе, которая будет намного лучше отличать правду от вымысла, вы говорите о системе, которая похожа на те, которые мы имеем сейчас, только намного больше, или вы говорите о система, устроенная совсем иначе, чем AlphaFold?
ДАРИО АМОДЕИ: Я скептически отношусь к тому, что нам нужно сделать что-то совершенно другое. Поэтому я думаю, что сегодня многие люди интуитивно понимают, что модели как бы поглощают данные, собранные из Интернета, репозиториев кода и т. д., и как бы их выплевывают разумно, но при этом как бы выплевывают. И иногда это приводит к мнению, что модели не могут быть лучше данных, на которых они обучены, или что они не могут понять ничего, чего нет в данных, на которых они обучаются. Вы не доберетесь до физики уровня Эйнштейна, химии уровня Лайнуса Полинга или чего-то еще.
Я думаю, что мы все еще находимся на той части кривой, где в это можно поверить, хотя я думаю, что мы видим первые признаки того, что это ложь. Итак, в качестве конкретного примера: модели, которые мы обучили, такие как Claude 3 Opus, имеют точность около 99,9 процента, по крайней мере, базовая модель, при сложении 20-значных чисел. Если вы посмотрите данные обучения в Интернете, вы увидите, что они не так точны при сложении 20-значных чисел. В Интернете вы постоянно найдете неточные арифметические данные, равно как и неточные политические взгляды. Вы обнаружите неточные технические представления. Вы просто обнаружите множество неточных утверждений.
Но модели, несмотря на то, что они ошибаются во многих вещах, часто могут работать лучше, чем среднее значение данных, которые они видят — я не хочу называть это усреднением ошибок, но в этом есть некоторая основная истина, как в случае с арифметикой. Для сложения чисел используется некий базовый алгоритм.
И моделям проще реализовать этот алгоритм, чем делать сложную вещь типа: «Хорошо, я сделаю это правильно в 90 процентах случаев и неправильно в 10 процентах случаев, верно?» Это связано с такими вещами, как бритва Оккама, простота и экономичность в науке. В мире существует относительно простая паутина истины, верно?
Мы говорили об истине, лжи и ерунде. Одна из особенностей правды заключается в том, что все истинное в мире связано, тогда как ложь как бы разъединена и не вписывается в сеть всего остального, что является правдой.
ЭЗРА КЛЕЙН: Итак, если вы правы и у вас будут модели, развивающие внутреннюю паутину истины, я понимаю, что эта модель может принести много пользы. Я также понимаю, что эта модель может принести много вреда. И это не модель и не ИИ. Я оптимистично настроен на то, что люди смогут понять эту систему на очень глубоком уровне, особенно когда она впервые будет разработана. Так как же сделать что-то подобное безопасным для человечества?
ДАРИО АМОДЕИ: В конце прошлого года мы представили так называемый план ответственного масштабирования. Итак, идея состоит в том, чтобы придумать эти пороги для ИИ системы, способной на определенные вещи. У нас есть то, что мы называем уровни безопасности ИИ (AI Safety Levels - ASL) по аналогии с уровнями биобезопасности, которые классифицируют, насколько опасен вирус и, следовательно, какие протоколы необходимо предпринять для его сдерживания в настоящее время мы находимся на уровне, который мы называем ASL 2.
ASL 3 связан с определенными рисками, связанными с моделью неправильного использования биологии и способностью выполнять определенные киберзадачи способом, который может быть разрушительным. ASL 4 будет охватывать такие вещи, как автономия и, возможно, убеждение, о которых мы много говорили раньше. И на каждом уровне мы указываем определенный объем исследований безопасности, которые нам необходимо провести, определенное количество тестов, которые мы должны пройти. Итак, это позволяет нам иметь основу для того, когда нам следует притормозить? Должны ли мы сейчас замедлиться? А что насчет остального рынка?
И я думаю, хорошо, что мы выпустили это в сентябре, а затем, через три месяца после того, как мы выпустили свое, OpenAI выпустил нечто подобное. Ему дали другое имя, но у него много общих свойств. Глава DeepMind в Google сказал, что работают над аналогичной структурой. И я неофициально слышал, что Microsoft, возможно, работает над аналогичной структурой. Это не все игроки экосистемы, но вы, вероятно, задумывались об истории регулирования и безопасности в других отраслях, возможно, больше, чем я.
Именно так вы доберетесь до работоспособного режима регулирования. Компании начинают что-то делать, и когда большинство из них что-то делает, государственные деятели могут с уверенностью сказать: ну, это не убьет отрасль. Компании уже этим занимаются. Нам не нужно проектировать это с нуля. Во многом это уже происходит.
И мы начинаем это видеть. Были предложены законопроекты, которые немного напоминают наш план ответственного масштабирования. Тем не менее, это как бы не полностью решает проблему, например, допустим, мы дошли до одного из этих порогов и нам нужно понять, что происходит внутри модели. А мы этого не делаем, и рецепт такой: ОК, нам нужно на какое-то время прекратить разработку моделей.
Если это так, мы остановимся на год в 2027 году, я думаю, это возможно. Если нам придется остановиться на 10 лет, это будет очень сложно, потому что модели будут создаваться в других странах. Люди будут нарушать законы. Экономическое давление будет огромным.
Поэтому я не чувствую себя полностью удовлетворенным этим подходом, потому что думаю, что он позволит выиграть нам некоторое время, но нам нужно будет соединить его с невероятно сильными усилиями, чтобы понять, что происходит внутри моделей.
ЭЗРА КЛЕЙН: Людям, которые говорят, что идти по пути, по которому мы несемся к очень мощным системам, опасно — нам вообще не следует этого делать или не следует делать это так быстро — вы сказали: послушайте, если мы собираемся научиться делать эти модели безопасными, мы должны делать модели, верно? Конструкция модели была призвана в основном обеспечить ее безопасность.
Потом все начинают делать модели. Эти же самые компании начинают совершать фундаментальные важные прорывы, а затем вступают в гонку друг с другом. И очевидно, что страны вступают в гонку с другими странами. Итак, сложившаяся динамика заключается в том, что всегда есть причина, по которой вы можете оправдать, почему вам нужно продолжать идти.
И это правда, я думаю, в том числе и на нормативном уровне, верно? Я имею в виду, я действительно думаю, что регулирующие органы задумались об этом. Я думаю, что члены Конгресса проявили к этому большой интерес. Я говорил с ними об этом. Но они также очень обеспокоены международной конкуренцией. А если нет, то люди из национальной безопасности приходят, разговаривают с ними и говорят: ну, мы здесь точно не можем отставать.
Итак, если вы не верите, что эти модели когда-либо станут настолько мощными, они станут опасными, и ладно. Но поскольку вы в это верите, как вы себе представляете, что это происходит на самом деле?
ДАРИО АМОДЕИ: Да, в общем, все, что вы сказали, одновременно правда, верно? Не обязательно должна быть какая-то простая история о том, почему нам следует делать X или почему нам следует делать Y, верно? В то же время может быть правдой то, что для проведения эффективных исследований безопасности вам необходимо создавать более крупные модели, и что, если мы не будем создавать модели, это сделает кто-то менее безопасный. И в то же время мы можем попасть в эту плохую динамику на национальном и международном уровне. Поэтому я считаю, что они не противоречат друг другу, а просто создают трудный ландшафт, по которому нам придется ориентироваться.
Слушайте, у меня нет ответа. Мол, я один из значительного числа игроков, пытающихся разобраться в этом. У многих благие намерения, у некоторых нет. У меня ограниченная возможность повлиять на это. И, как это часто бывает в истории, события часто движутся именно таким безличным давлением. Но у меня есть одна мысль, и я действительно хочу ее развить в отношении RSP.
ЭЗРА КЛЕЙН: Можете ли вы сказать, что такое RSP?
ДАРИО АМОДЕИ: RSP - План ответственного масштабирования, о котором я говорил раньше. Уровни безопасности ИИ, в частности, привязывая решения о приостановке масштабирования к измерению конкретных опасностей или отсутствия возможности продемонстрировать безопасность или наличия определенных возможностей. Я думаю об этом так: в конце концов, это, в конечном счете, попытка привлечь к участию коалицию, которая будет делать что-то, что идет вразрез с экономическим давлением.
Итак, если вы сейчас скажете: «Ну, я не знаю. Эти вещи могут быть опасны в будущем. Мы находимся на экспоненте». Это просто тяжело. Мол, трудно получить компанию с оборотом в несколько триллионов долларов. Конечно, трудно добиться от военного генерала, чтобы он сказал: ну ладно, ну мы просто не будем этого делать. Это даст огромное преимущество другим. Но мы просто не будем этого делать.
Я думаю, что могло бы быть более убедительно, так это привязать решение о сдерживании в очень масштабном виде, которое применяется во всей отрасли, к конкретным опасностям. В своих показаниях перед Конгрессом я предупредил о потенциальном неправильном использовании моделей в биологии. Сегодня это не так, верно? Вы можете получить небольшую выгоду от моделей по сравнению с поиском в Google, и многие люди игнорируют этот риск. И я не знаю — возможно, они правы. Законы экспоненциального масштабирования подсказывают мне, что они неверны, но у нас нет прямых веских доказательств.
Но допустим, мы доберемся до 2025 года и продемонстрируем что-то действительно пугающее. Большинство людей не хотят, чтобы в мире появились технологии, способные создать биологическое оружие. И поэтому я думаю, что в такие моменты может возникнуть критическая коалиция, связанная с рисками, которые мы действительно можем воплотить в жизнь. Да, всегда будет утверждаться, что противники также будут обладать этими возможностями. Но, по крайней мере, компромисс будет ясен, и появится некоторый шанс на разумную политику.
Я хочу внести ясность: я тот, кто считает, что преимущества этой технологии перевесят ее затраты. И я думаю, что вся идея RSP заключается в том, чтобы подготовиться к рассмотрению этого дела, если опасность реальна. Если они нереальны, то мы можем просто продолжать и создавать вещи, которые будут великими и чудесными для мира. Таким образом, он может работать в обоих направлениях.
Опять же, я не думаю, что это идеально. Я тот человек, который считает, что что бы мы ни делали, даже со всей нормативной базой, я сомневаюсь, что мы сможем так сильно замедлиться. Но когда я думаю о том, как лучше всего провести здесь разумный курс, это самое близкое, что я могу придумать прямо сейчас. Возможно, где-то есть план получше, но это лучшее, о чем я когда-либо думал.
ЭЗРА КЛЯЙН: Одна из вещей, которые меня беспокоили по поводу регулирования, заключается в том, является ли основополагающая идея Anthropic, OpenAI еще более актуальной для правительства. Что, если вы являетесь органом, который, в конечном итоге, должен регулировать и управлять безопасностью технологий социального уровня, таких как искусственный интеллект. Разве вам не нужно строить свои собственные фундаментальные модели и иметь огромные группы ученых-исследователей и людей такого рода, работающих над ними, тестируя их, подталкивая их, переделывая их, в чтобы понять эту чертову штуку достаточно хорошо — в той степени, в которой любой из нас или кто-либо еще понимает эту чертову штуку достаточно хорошо — чтобы регулировать ее?
Я говорю это, осознавая, что правительству будет очень и очень трудно добиться достаточного уровня, чтобы оно могло построить эти фундаментальные модели для найма этих людей, но это не невозможно. Я думаю, что сейчас оно хочет применить подход к регулированию ИИ. То есть ему в некоторой степени хотелось бы регулировать социальные сети, то есть заранее подумать о вреде и принять законы об этом вреде.
Но нужно ли ему самому строить модели, развивать такого рода внутренний опыт, чтобы на самом деле быть участником по-разному, как по нормативным причинам, так и, возможно, по другим причинам, по соображениям общественного интереса? Возможно, оно хочет делать с моделью вещи, которые просто невозможны, если они зависят от доступа к продуктам OpenAI, Anthropic, Google.
ДАРИО АМОДЕИ: Я думаю, что правительство непосредственно строит модели, я думаю, что в некоторых местах это произойдет. Это довольно сложно, правда? Например, у правительства есть огромная сумма денег, но допустим, вы хотите выделить 100 миллиардов долларов на обучение гигантской модели фонда. Правительство строит это. Оно должно нанимать людей в соответствии с государственными правилами найма. С этим связано много практических трудностей.
Это не значит, что этого не произойдет или не должно произойти. Но я более уверен в том, что правительство должно более активно участвовать в использовании и доработке этих моделей, и что их внедрение в правительство поможет правительствам, особенно правительству США, а также другим правительствам, получить представление о сильных и слабых сторонах, преимуществах и опасностях. Так что я очень поддерживаю это.
Я думаю, что, возможно, вы имеете в виду еще одну вещь, о которой я много думал, будучи генеральным директором. одной из этих компаний, то есть, если эти прогнозы экспоненциального тренда верны, и мы должны быть скромными — и я не знаю, правы они или нет. Единственное, что я могу доказать, это то, что последние несколько лет они, судя по всему, были правы. Итак, я просто ожидаю по индукции, что они по-прежнему будут правильными. Не знаю, будут ли они, но скажем так. Мощность этих моделей будет действительно невероятной.
И как частное лицо, отвечающее за одну из компаний, разрабатывающих эти модели, мне некомфортно осознавать объем власти, который это влечет за собой. Я думаю, что потенциально это намного превосходит возможности, скажем, компаний, занимающихся социальными сетями.
Знаете, иногда в более научно-фантастическом мире ИИ. и люди, которые думают об ИИ. рискуя, кто-то спросит меня: «Хорошо, допустим, вы создаете AGI. Что вы собираетесь с этим делать? Вылечите ли вы болезни? Создадите ли вы такое общество?
И я такой: как вы думаете, с кем вы разговариваете? Как король? Я просто считаю, что это действительно очень тревожный способ концептуализации управления ИИ. компания. И я надеюсь, что нет компаний, чьи руководители действительно думают о вещах подобным образом.
Я имею в виду, что вся технология, не только регулирование, но и надзор за технологией, как и владение ею, кажется немного неправильным, когда она в конечном итоге находится в руках - может быть, я думаю, что на данном этапе это нормально, но в конечном итоге оказаться в руках частных лиц. Есть что-то недемократичное в такой концентрации власти.
ЭЗРА КЛЕЙН: Думаю, я уже услышал некоторую версию этого от глав большинства, а может быть и всех ИИ компаний, так или иначе. И для меня это что-то вроде: Господи, даруй мне целомудрие, но не сейчас.
То есть я не знаю, что значит сказать, что мы собираемся изобрести что-то настолько мощное, что мы не доверяем себе, чтобы владеть этим. Я имею в виду, что Amazon только что дал вам 2,75 миллиарда долларов. Они не хотят, чтобы эти инвестиции были национализированы.
Независимо от того, насколько добросердечным вы считаете OpenAI, Microsoft не хочет GPT-7, так как внезапно правительство скажет такое: эй, эй, эй, эй, эй. Мы берем это на себя ради общественных интересов, иначе ООН будет заниматься этим в каком-то странном мире или где бы он ни был. Я имею в виду, что Google этого не хочет.
И это то, что заставляет меня немного скептически относиться к законам ответственного масштабирования или другим итеративным версиям этих законов, которые я видел в других компаниях или видел или слышал, о которых они говорили, а именно то, что именно воображение этого момента придет позже, когда денег вокруг этих моделей станет еще больше, чем сейчас, сил, возможностей, экономического использования, социальной зависимости и знаменитости основателей. Все решено. Мы сохранили темп на экспоненциальной кривой. Мы на 10 лет впереди.
И в какой-то момент все поднимут глаза и скажут: на самом деле это уже слишком. Это дает им слишком много силы. И этим надо как-то по-другому управлять. И даже если бы генеральные директора были готовы сделать это (это очень открытый вопрос к тому времени, когда вы туда доберетесь), даже если бы они были готовы это сделать, инвесторы, структуры, давление вокруг них, в некотором смысле , я думаю, мы видели версию этого — и я не знаю, насколько вы будете готовы это комментировать — с чем-то вроде платного OpenAI, штукой Сэма Альтмана, где я очень убежден, что это было об ИИ безопасности. Я разговаривал с представителями обеих сторон. Они все вроде как согласны, что дело было не в ИИ безопасности. Но был такой момент: если вы хотите нажать кнопку выключения, можете ли вы, если вы странная доска, созданная для нажатия кнопки выключения. И ответ был: нет, нельзя, верно? Они просто воссоздадут его в Microsoft.
Функционально я не знаю аналогии в государственной политике, где частный сектор построил что-то настолько мощное, что, достигнув максимальной власти, оно просто каким-то образом было передано в ведение общественных интересов.
ДАРИО АМОДЕИ: Да, я имею в виду, я думаю, что вы правы в своем скептицизме, и аналогично то, что я сказал в предыдущих вопросах, — это просто дилеммы слева и справа, на которые нет простого ответа. Но я думаю, что могу дать немного больше конкретики, чем то, на что вы указали, и, возможно, больше конкретики, чем сказали другие, хотя я не знаю, что сказали другие. Мы сказали это в ASL 2, в нашем ответственном плане масштабирования. Подобные проблемы, я думаю, станут серьезным вопросом, когда мы достигнем, скажем, ASL 4. Значит, это дело не в дате и времени. Мы даже не полностью определили ASL 4
ЭЗРА КЛЕЙН: Просто потому, что в этом много жаргона, просто, что вы указываете, ASL 3 как? И потом, как вы говорите, ASL 4 на самом деле остается совершенно неопределенным. Так что вы имеете в виду, ASL 4 есть?
ДАРИО АМОДЕИ: ASL 3 вызван рисками, связанными со злоупотреблением биологическими и кибер технологиями. Над ASL 4 сейчас работаем.
ЭЗРА КЛЕЙН: Будьте конкретны. Что вы имеете в виду? Например, что система могла бы сделать или сделала бы, чтобы это сработало?
ДАРИО АМОДЕИ: Да, например, по биологии, то, как мы ее определили — и мы все еще совершенствуем тест, но то, как мы его определили, по сравнению с использованием поиска Google, имеет существенное значение. увеличение риска, как это было бы оценено, скажем, сообществом национальной безопасности в отношении неправомерного использования биологии, создания биологического оружия, что либо по его распространению или распространение больше, чем было раньше, либо возможности существенно больше, чем были раньше.
У нас, вероятно, будет более точная количественная оценка, работая с людьми, которые являются бывшими сотрудниками правительственной биозащиты, но что-то вроде этого составляет 20 процентов от общего источника риска биологических атак, или что-то увеличивает риск на 20 процентов или что-то в этом роде. как это. Так что это будет очень конкретная версия. Просто нам нужно время, чтобы выработать вполне конкретные критерии. Это было бы похоже на ASL 3.
Что касается злоупотреблений, то ASL 4 будет в большей степени посвящен предоставлению возможности субъектам государственного уровня значительно расширить свои возможности, что гораздо сложнее, чем предоставить возможность случайным людям. Итак, стоит ли нам беспокоиться о том, что Северная Корея, Китай или Россия могут значительно повысить свои наступательные возможности в различных военных областях с помощью ИИ? Таким образом, что это дало бы им существенное преимущество на геополитическом уровне. А что касается автономности, то различные показатели этих моделей довольно близки к способности воспроизводиться и выживать в дикой природе.
Так что мне кажется, что это один шаг от моделей, которые, я думаю, подняли бы действительно экзистенциальные вопросы. Итак, я думаю, что я говорю о том, что когда мы доберемся до этой последней стадии, ASL 4, именно тогда я думаю, что имеет смысл задуматься о том, какова роль правительства в управлении этой технологией.
Опять же, я не знаю, как это выглядит. Вы правы. У всех этих компаний есть инвесторы. У них есть люди, вовлеченные в это. Вы говорите о простой передаче моделей. Я подозреваю, что есть какой-то способ передать наиболее опасные или социально чувствительные компоненты или возможности моделей, не перекрывая полностью коммерческую кран. Я не знаю, существует ли решение, которым будет доволен каждый актер. Но опять же, я дошел до идеи демонстрации специфического риска.
Если вы посмотрите на исторические периоды, такие как Первая мировая война или Вторая мировая война, воля промышленности может быть склонена в сторону государства. Их можно заставить делать вещи, которые не обязательно принесут прибыль в краткосрочной перспективе, потому что они понимают, что возникла чрезвычайная ситуация. Сейчас у нас нет чрезвычайной ситуации. У нас просто есть линия на графике, в которую верят такие чудаки, как я, и некоторые люди, подобные вам, которые берут у меня интервью, могут в некоторой степени верить. У нас нет явной и реальной опасности.
ЭЗРА КЛЕЙН: Если представить, сколько лет пройдет, примерно. ASL 3 есть и через сколько лет ASL 4, да, вы много думали об этой экспоненциальной кривой масштабирования. Если вам просто нужно было догадаться, о чем мы говорим?
ДАРИО АМОДЕИ: Да, я думаю, ASL 3 может легко произойти в этом или следующем году. Я верю в экспоненту. Я думаю, что ASL 4 может произойти где угодно в период с 2025 по 2028 год.
ЭЗРА КЛЕЙН: Итак, это быстро.
ДАРИО АМОДЕИ: Да, нет, нет, я действительно говорю о ближайшем будущем. Я не говорю о 50-летней перспективе. Дай Бог мне целомудрия, но не сейчас. Но «не сейчас» не означает, когда я буду старым и седым. Я думаю, что это может быть в ближайшем будущем. Я не знаю. Я могу ошибаться. Но я думаю, что это может произойти в ближайшем будущем.
ЭЗРА КЛЕЙН: Но тогда, если вы подумаете об этом, я чувствую то, что вы описываете, возвращаясь к тому, о чем мы говорили ранее, что существует ступенчатая функция для социального воздействия ИИ, кривая экспоненциальной функции способностей. , но время от времени что-то происходит, ChatGPT, например, Midjourney с фотографиями. И вдруг многие люди это почувствовали. Они понимают, что произошло, и реагируют. Они используют это. Они внедряют его в своих компаниях. Они вкладывают в это деньги, что угодно.
И мне кажется, что это и есть структура политической экономии, которую вы здесь описываете. Либо что-то происходит, когда демонстрируется потенциал биологического оружия, либо демонстрируется потенциал наступательного кибероружия, и это пугает правительство, или, возможно, что-то происходит, верно? Описывая Первую и Вторую мировые войны, ваши примеры на самом деле не принесли мне утешения, потому что для того, чтобы подчинить промышленность воле правительства, в этих случаях нам нужна была настоящая мировая война. Это не так-то просто.
Я думаю, вы могли бы использовать коронавирус как еще один пример того, как произошла настолько серьезная глобальная катастрофа, что компании, правительства и даже люди сделали то, чего вы никогда не ожидали. Но примеры, которые у нас есть, просто ужасны. Все эти примеры заканчиваются миллионами тел.
Я не говорю, что это будет верно и для ИИ, но похоже, что это политическая экономия. Нет, вы не можете представить это сейчас, точно так же, как вы не могли представить себе мир до и после ChatGPT, но что-то происходит, и мир меняется. Мол, везде ступенчатая функция.
ДАРИО АМОДЕИ: Да, я имею в виду, я думаю, что моя позитивная версия этого, а не того — чтобы немного уйти от обреченности и мрака, заключается в том, что опасности демонстрируются конкретным, действительно убедительным образом, но без происходит что-то действительно плохое, да? Я думаю, что худший способ научиться — это случиться что-то действительно плохое. И я каждый день надеюсь, что этого не произойдет, и мы научимся бескровно.
ЭЗРА КЛЕЙН: Мы говорили здесь о концептуальных ограничениях и кривых, но, прежде чем мы закончим, я хочу немного познакомить нас с физической реальностью, не так ли? Я думаю, что если вы используете ИИ, он может ощущаться как цифровые биты и байты, находящиеся где-то в облаке.
Но физически это огромное количество чипов, центров обработки данных, огромное количество энергии, и все это зависит от сложных цепочек поставок. А что произойдет, если что-то произойдет между Китаем и Тайванем, и производители многих этих чипов окажутся отключенными или попадут в плен? Что вы думаете о необходимости вычислительной мощности? А если представить себе следующие пять лет, как будет выглядеть эта цепочка поставок? Как оно должно измениться по сравнению с тем, где оно находится сейчас? И какие уязвимости в нем существуют?
ДАРИО АМОДЕИ: Да, во-первых, я думаю, что это может стать величайшей геополитической проблемой нашего времени. И, черт возьми, это относится к вещам, которые намного выше моей зарплаты, а именно к военным решениям о том, стоит ли защищать Тайвань и как это делать. Все, что я могу сделать, это сказать, какие, по моему мнению, последствия для ИИ. является. Я думаю, что эти последствия довольно резкие. Я думаю, что есть большой вопрос: ОК, мы создали эти мощные модели.
Во-первых, достаточно ли ресурсов для их строительства? Во-вторых, это контроль над этими поставками, способ думать о вопросах безопасности или способ думать о балансе геополитических сил. И в-третьих, если эти чипы будут использоваться для создания центров обработки данных, где будут эти центры обработки данных? Будут ли они в США? Будут ли они союзником США? Будут ли они на Ближнем Востоке? Будут ли они в Китае?
Все это имеет огромные последствия, и тогда сама цепочка поставок может быть нарушена. А политические и военные решения могут приниматься исходя из того, где обстоят дела. Так что для меня это звучит как невероятно сложная проблема. Не знаю, есть ли у меня какое-то глубокое понимание этого вопроса. Я имею в виду, что как гражданин США и человек, который верит в демократию, я надеюсь, что мы сможем найти способ построить центры обработки данных и иметь наибольшее количество чипов, доступных в США и союзных демократических странах.
ЭЗРА КЛЕЙН: Ну, вам следует иметь некоторое представление об этом: вы здесь клиент, верно? Итак, пять лет назад люди, производящие эти чипы, не осознавали, каким будет уровень спроса на них. Я имею в виду, то, что произошло с ценами на акции Nvidia, действительно примечательно.
Но то, что подразумевается под будущим цен на акции Nvidia, действительно примечательно. Рана Фороохар, Financial Times, процитировала этот анализ рынка. Чтобы будущие дивиденды Nvidia сравнялись с их нынешней ценой, потребуется 4500 лет. Вот такой взгляд на то, сколько Nvidia собирается зарабатывать в ближайшие пару лет. Это действительно поразительно.
Я имею в виду, что теоретически вы уже работаете или думаете о том, как работать над следующим поколением Claude. Для этого вам понадобится много фишек. Вы работаете с Amazon. У вас возникли проблемы с получением того объема вычислений, который, по вашему мнению, вам нужен? Я имею в виду, вы уже столкнулись с ограничениями в поставках? Или предложение смогло измениться, подстроиться под вас?
ДАРИО АМОДЕИ: Нам удалось получить необходимые нам вычислительные мощности на этот год, подозреваю, что и на следующий год тоже. Я думаю, что как только дело дойдет до 2026, 2027, 2028 годов, объем вычислений достигнет уровня, который начнет ограничивать возможности полупроводниковой промышленности. Полупроводниковая промышленность по-прежнему в основном производит процессоры, верно? Только вещи в вашем ноутбуке, а не вещи в центрах обработки данных, которые обучают ИИ модели. Но поскольку экономическая ценность графических процессоров постоянно растет из-за ценности искусственного интеллекта. модели, которые собираются переключиться.
Но вы знаете, что? В какой-то момент вы достигаете предела этого или предела скорости переключения. И поэтому, опять же, я ожидаю, что где-то в ближайшие несколько лет произойдет большой дефицит поставок в центры обработки данных, микросхемы, а также в области энергетики и мощности как по нормативным, так и по физическим причинам. И это риск, но и возможность. Я думаю, что это возможность подумать о том, как можно управлять технологией.
И это также возможность, повторю еще раз, подумать о том, каким образом демократия может вести за собой. Я думаю, было бы очень опасно, если бы лидерами в этой технологии и держателями основных ресурсов были авторитарные страны. Сочетание ИИ. и авторитаризм, как внутри страны, так и на международной арене, меня очень пугает.
ЭЗРА КЛЕЙН: А как насчет вопроса энергетики? Я имею в виду, что для этого требуется просто колоссальное количество энергии. И я имею в виду, я видел разные цифры, подобные этой. В ближайшие годы это может быть похоже на добавление Бангладеш к мировому энергопотреблению. Или выберите свою страну, верно? Я не знаю, что именно вы все будете использовать к 2028 году.
Microsoft сама открывает новый центр обработки данных по всему миру каждые три дня. У вас есть — и это взято из статьи в Financial Times — федеральные прогнозы строительства 20 новых газовых электростанций в США к 2024–2025 гг. Много говорят о том, что сейчас наступает новая золотая эра для природного газа, потому что у нас есть куча этого. Существует огромная потребность в новых силах для управления всеми этими данными, для управления всеми этими вычислениями.
Итак, во-первых, я чувствую, что существует буквальный вопрос о том, как получить необходимую вам энергию и по какой цене, но также и более моральный, концептуальный вопрос о том, что у нас есть реальные проблемы с глобальным потеплением. У нас есть реальные проблемы с тем, сколько энергии мы используем. И здесь мы приближаемся к действительно крутой кривой того, какую часть денег нам, похоже, нужно посвятить новой ИИ расе.
ДАРИО АМОДЕИ: На самом деле все сводится к тому, для каких целей используется модель, верно? Поэтому я думаю, что тревожным случаем будет что-то вроде криптовалюты, не так ли? Я не верю в то, что какая бы энергия ни была использована для добычи следующего биткойна, я думаю, что она была чисто аддитивной. Думаю, раньше этого не было. И я не могу вспомнить ни одной полезной вещи, созданной этим.
Но я не думаю, что это относится к ИИ. Может быть, ИИ сделает солнечную энергию более эффективной, или, может быть, решит проблему управляемого ядерного синтеза, или, может быть, сделает геоинженерию более стабильной или возможной. Но я не думаю, что нам нужно полагаться на долгосрочную перспективу. Есть некоторые приложения, в которых модель делает что-то, что раньше автоматизировалось и выполнялось компьютерными системами. И модель способна сделать это быстрее и с меньшими затратами времени, верно? Это чистые победы. И такие есть.
Есть и другие, где используется такое же количество вычислительных ресурсов или, возможно, больше вычислительных ресурсов, но для того, чтобы сделать что-то более ценное, что экономит труд в других местах. Кроме того, бывают случаи, когда что-то раньше делали люди или в физическом мире, а теперь это делают модели. Возможно, он делает что-то, для чего раньше мне нужно было идти в офис. И теперь мне больше не нужно идти в офис, чтобы сделать это.
Так что мне не придется садиться в машину. Мне не нужно использовать тот газ, который использовался для этого. Энергетический учет этого довольно сложен. Вы сравниваете это с пищей, которую едят люди, и с тем, сколько энергии требуется для ее производства.
Так что, честно говоря, я не думаю, что у нас есть хорошие ответы о том, какая часть использования указывает в одну сторону, а какая часть использования указывает на другие. Во многих отношениях, насколько это отличается от общей дилеммы, заключающейся в том, что по мере роста экономики она потребляет больше энергии?
Итак, я думаю, я хочу сказать, что очень важно, как вы используете эту технологию. Я имею в виду, что мой скучный краткосрочный ответ таков: мы получаем компенсацию выбросов углерода за все это. Но давайте посмотрим дальше на макро-вопрос.
ЭЗРА КЛЕЙН: Но если взглянуть на это с другой стороны, я имею в виду, я думаю, что разница, когда вы говорите, что этот вопрос всегда возникает у нас, когда растёт ВВП, заключается в том, что это не совсем так. Это клише, потому что верно сказать, что главная проблема глобального потепления сейчас заключается в том, что такие страны, как Китай и Индия, становятся богаче. И мы хотим, чтобы они стали богаче. Это огромный человеческий императив, верно, моральный императив для бедных людей в мире, чтобы они стали менее бедными. И если это означает, что они потребляют больше энергии, то нам просто нужно выяснить, как заставить это работать. И мы не знаем, как это произойдет без использования большего количества энергии.
Добавление ИИ не в том, что это поднимает совершенно другой набор вопросов, но мы уже напрягаем границы или, может быть, далеко за пределами того, что мы можем безопасно делать энергетически. Теперь мы добавим его, и, возможно, некоторые из преимуществ энергоэффективности, которые вы получите в богатых странах, будут сведены на нет. Для такого рода неопределенной выгоды в будущем, возможно, с помощью искусственного интеллекта, мы найдем способы стабилизировать ядерный синтез или что-то в этом роде, да, вы можете представить способы, которые могут помочь, но эти способы являются теоретическими.
И в краткосрочной перспективе вред с точки зрения использования энергии вполне реален. А еще, кстати, вред с точки зрения как раз цен на энергоносители. Это также сложно, потому что все эти компании, Microsoft, Amazon, я имею в виду, все они имеют множество целей в области возобновляемых источников энергии. Теперь, если это противоречит их рыночным стимулам, создается впечатление, что они очень быстро бегут к рыночным стимулам, не имея ответа на вопрос, как все это обернется.
ДАРИО АМОДЕИ: Да, я имею в виду, я думаю, что опасения реальны. Позвольте мне немного отступить: я, опять же, не думаю, что выгоды будут исключительно в будущем. Это как бы возвращается к тому, что я сказала раньше. Например, сейчас могут быть варианты использования, которые обеспечивают чистое энергосбережение, или, если они не являются чистым энергосбережением, делать это через общий механизм, чтобы, спрос на эту вещь был больше.
Я не думаю, что кто-то провел достаточно хорошие измерения какие из этих вещей доминируют или что произойдет с экономикой, отчасти потому, что применение ИИ настолько ново. Но я не думаю, что нам следует предполагать, что вред находится исключительно в настоящем, а польза – полностью в будущем. Я думаю, это моя единственная точка зрения.
ЭЗРА КЛЕЙН: Я думаю, вы можете представить себе мир, в котором мы так или иначе стимулировали использование ИИ, которое было связано с какой-то социальной целью. Мы вложили гораздо больше в разработку лекарств, или нас очень заботили вещи, которые облегчают удаленную работу, или мы выбирали свой набор общественных благ.
Но мне кажется, что на самом деле происходит то, что мы строим все более и более мощные модели и просто выбрасываем их в рамках структуры условий обслуживания, говоря: используйте их до тех пор, пока вы не пытаетесь политически манипулировать людьми. или создать биологическое оружие. Просто попробуйте это понять, да? Попробуйте придумать новые истории и расспросить его о своей личной жизни, а также сделать из этого видеоигру. И Sora рано или поздно выйдет наружу. Снимайте с ним новые видео. И все это будет очень энергоемким.
Я не говорю, что у меня есть план по подчинению ИИ общественному благу, и в некотором смысле вы можете себе представить, что это происходит очень и очень неправильно. Но это означает, что в течение долгого времени вы можете представить себе мир, о котором говорите, но это потребует какого-то планирования, которым никто не занимается, и я не думаю, что кто-то вообще хочет этим заниматься. .
ДАРИО АМОДЕИ: Не у всех одинаковое представление о социальном благе. Кто-то может подумать, что эта идеология – социальное благо. Другой человек — мы видели это на примере некоторых вещей Gemini.
ЭЗРА КЛЕЙН: Верно.
ДАРИО АМОДЕИ: Но компании могут попытаться сами создать полезные приложения, верно? Мол, именно поэтому мы работаем с онкологическими институтами. Мы надеемся сотрудничать с министерствами образования Африки, чтобы посмотреть, сможем ли мы использовать эти модели в положительном смысле для образования, а не так, как они могут использоваться по умолчанию. Поэтому я думаю, что отдельные компании, отдельные люди могут предпринять действия, чтобы направить это в сторону общественного блага.
Тем не менее, никогда не будет так, чтобы 100 процентов того, что мы делаем, было именно этим. И поэтому я думаю, что это хороший вопрос. Каковы социальные стимулы, без диктовки идеологии или определения общественного блага сверху, какие стимулы могут в этом помочь?
Я тоже не чувствую, что у меня есть системный ответ. Я могу думать только о том, что пытается сделать Anthropic.
ЭЗРА КЛЕЙН: Но есть также вопрос об обучающих данных и интеллектуальной собственности, которая используется в таких вещах, как Claude, GPT, Gemini. Есть ряд исков о нарушении авторских прав. Вы столкнулись с некоторыми. OpenAI сталкивается с некоторыми. Я подозреваю, что все либо столкнулись с ними сейчас, либо столкнутся с ними.
И общее ощущение, что эти системы тренируются на совокупной интеллектуальной деятельности множества разных людей — то, как Claude может довольно эффективно имитировать то, как я пишу, означает, что он в некоторой степени обучен на моем письме, верно? Так что на самом деле он довольно хорошо отражает мои стилистические особенности. Ты выглядишь великолепно, но ты не прислал мне чек. И похоже, что это место, где существует реальный риск ответственности для отрасли. Например, что, если вам действительно придется выплачивать компенсацию людям, на которых он обучается? И стоит ли это денег?
И я понимаю, что вы, вероятно, не можете комментировать сами судебные процессы, но я уверен, что вам пришлось много об этом думать. Итак, мне любопытно не только то, как вы понимаете это как риск, но и то, как вы понимаете это с моральной точки зрения. Я имею в виду, когда вы говорите о людях, которые изобретают эти системы, которые получают много власти и, наряду с этим, много богатства, ну, а как насчет всех людей, чей труд вошел в них так, что они могут создавать образы в миллионе различных стили?
И я имею в виду, что кто-то придумал эти стили. Какова ответственность перед интеллектуальным достоянием? И не только на общее благо, но и на реальную заработную плату и экономические перспективы людей, которые сделали все это возможным?
ДАРИО АМОДЕИ: Я думаю, все согласны с тем, что модели не должны дословно выводить контент, защищенный авторским правом. Что касается вещей, которые доступны в Интернете, общедоступны, наша позиция — и я думаю, что для этого есть веские аргументы — заключается в том, что процесс обучения, опять же, мы не думаем, что это просто сбор контента и выплевывание его или оно не должно выплескиваться. На самом деле это больше похоже на процесс обучения человека на основе опыта. Итак, наша позиция заключается в том, что это является достаточно преобразующим, и я думаю, что закон поддержит это, что это добросовестное использование.
Но это узкий юридический подход к проблеме. Я думаю, что у нас есть более широкая проблема: независимо от того, как он был обучен, мы все равно будем строить все больше и больше общих когнитивных систем, и эти системы будут создавать нарушения. Возможно, не обязательно путем замены людей по одному, но они действительно изменят то, как работает экономика и какие навыки ценятся. И нам нужно решение этой широкой макроэкономической проблемы, верно?
Несмотря на то, что я утверждал есть узкие юридические моменты, которые я утверждал ранее, здесь у нас есть более широкая проблема, и мы не должны закрывать на это глаза. Есть ряд решений. Я имею в виду, я думаю, что самый простой вариант, который, как я понимаю, не затрагивает некоторые из более глубоких проблем здесь, — это вещи, связанные с гарантированным базовым доходом.
Но я думаю, что здесь есть более глубокий вопрос, например, как работает ИИ. системы становятся способными выполнять все большую и большую часть когнитивного труда, как общество организует себя экономически? Как люди находят работу, смысл и все такое?
И так же, как мы перешли от аграрного общества к индустриальному обществу, и смысл труда изменился, и я подозреваю, что уже не верно, что 99 процентов людей были крестьянами, работающими на фермах и должны были найти новые методы экономической организации. существует какой-то другой метод экономической организации, который будет использоваться как единственно возможный ответ на сбои в экономике, которые сначала будут небольшими, но со временем будут расти, и мы еще не выяснили, что это такое. Нам нужно найти что-то, что позволит людям находить гуманный смысл и максимизирует нашу креативность, потенциал и процветание благодаря ИИ.
И, как и на многие из этих вопросов, у меня нет ответа на этот вопрос. Верно? У меня нет рецепта. Но это то, что нам как-то нужно сделать.
ЭЗРА КЛЕЙН: Но я хочу находиться между узким юридическим ответом и широким ответом «мы должны полностью реорганизовать общество», хотя я думаю, что этот ответ на самом деле возможен в течение десятилетий. И в середине этого стоит более конкретный вопрос. Я имею в виду, что можно даже взять это с инструментальной стороны. Сейчас прилагаются большие усилия по созданию поисковых продуктов, использующих эти системы, верно? ChatGPT будет использовать Bing для поиска вас.
А это означает, что человек не зайдет в Bing и не нажмет на веб-сайт, с которого ChatGPT получает информацию и создаст на этом веб-сайте рекламное впечатление, которое он может превратить в очень небольшую сумму денег, или он не зайдет на этот веб-сайт. и получить действительно хороший опыт работы с этим веб-сайтом и, возможно, с большей вероятностью подписаться на тех, кто стоит за этим веб-сайтом.
И поэтому, с одной стороны, это кажется какой-то несправедливостью по отношению к людям, создающим информацию, которую используют эти системы. Я имею в виду, это верно для недоумения. Это верно для многих вещей, которые я начинаю видеть в тех случаях, когда ИИ либо обучаются, либо используют большое количество данных, которые люди сгенерировали за определенную реальную цену. Но они не только не платят людям за это, но и фактически вступают в середину того места, где обычно были бы прямые отношения, и делают так, чтобы отношений никогда не было.
Это также, я думаю, в долгосрочной перспективе создает проблему с обучающими данными, даже если вы просто хотите взглянуть на нее инструментально, когда становится нежизнеспособным заниматься журналистикой или делать много вещей для создания высококачественной информации из них. Способность ИИ, способность всех ваших компаний получать высококачественную, актуальную, постоянно обновляемую информацию, становится намного сложнее. Так что мне кажется, что в этом есть как моральное, так и корыстное измерение.
ДАРИО АМОДЕИ: Да, поэтому я думаю, что могут быть бизнес-модели, которые будут работать для всех, не потому, что обучение на открытых данных из Интернета незаконно с юридической точки зрения, а просто потому, что здесь могут быть бизнес-модели, которые обеспечивают более лучший продукт. Итак, я думаю о том, как будто в газетах есть архивы. Некоторые из них не являются общедоступными. Но даже если и так, возможно, это будет лучший продукт, может быть, лучший опыт, скажем, поговорить с этой газетой или поговорить с той газетой.
Возможно, было бы лучше предоставить возможность взаимодействовать с контентом и указывать места в контенте, а также каждый раз, когда вы вызываете этот контент, иметь какие-то деловые отношения с создателями этого контента. Значит, здесь могут быть бизнес-модели, которые правильно распространяют ценность, верно? Вы говорите о LLM, используя поисковые продукты. Я имею в виду, конечно, вы обращаетесь к рекламе, но нет причин, по которым она не может работать по-другому, верно?
Нет никаких причин, по которым пользователи не могли бы платить за поисковые API вместо того, чтобы платить за них через рекламу, а затем распространять их туда, где находится оригинальный механизм, который платил создателям контента. Таким образом, когда создается ценность, деньги могут течь.
ЭЗРА КЛЕЙН: У меня двое детей. У меня двухлетний и пятилетний. И особенно когда я занимаюсь репортажем об искусственным интеллектом, я действительно сижу ночью в постели и думаю, что мне здесь с ними делать? К какому миру я пытаюсь их подготовить? И то, что необходимо в этом мире, отличается от того, что необходимо в этом мире, даже если я верю, что есть некоторый шанс — а я действительно верю, что есть некоторый шанс — что все, что вы говорите, правда. Это означает, что для них будет совсем другая жизнь.
Я знаю людей в вашей компании с детьми. Я знаю, что они думают об этом. Что вы об этом думаете? Я имею в виду, что, по вашему мнению, должно измениться в жизни двухлетнего ребенка, который живет в темпе перемен, который, как вы мне говорите, здесь верен? Если бы у вас был ребенок, как бы это изменило ваше отношение к этому?
ДАРИО АМОДЕЙ: Очень короткий ответ: я не знаю и понятия не имею, но мы все равно должны попытаться, верно? Людям приходится воспитывать детей, и они должны делать это как можно лучше. Очевидная рекомендация — просто знакомство с технологией и тем, как она работает, не так ли? Основная парадигма: я разговариваю с системами, а системы действуют от моего имени, очевидно, что как можно большее знакомство с этим, я думаю, полезно.
Что касается того, чему дети должны учиться в школе, какова их профессия завтра, я просто не знаю, верно? Вы могли бы сказать: ну, важно изучать STEM, программирование и искусственный интеллект. и все такое. Но ИИ на это тоже повлияет, верно? Я не думаю, что что-то из этого произойдет...
ЭЗРА КЛЕЙН: Возможно, сначала.
ДАРИО АМОДЕИ: Да, верно, возможно, сначала.
ЭЗРА КЛЕЙН: Кажется, в программировании он лучше, чем в других вещах.
ДАРИО АМОДЕИ: Я не думаю, что какая-либо из этих систем сможет просто делать то, что собираются делать люди. Я так не думаю. Но я думаю, что это может фундаментально изменить отрасли и профессии одну за другой, и это трудно предсказать. Итак, у меня такое ощущение, что здесь есть только клише. Например, ознакомиться с технологией. Научите своих детей адаптироваться, быть готовыми к миру, который меняется очень быстро. Мне бы хотелось иметь ответы получше, но я думаю, что это лучшее, что я получил.
Та часть, где вы сами должны читать что-то сложное? Ну ИИ может подвести итог для вас. Та часть, где ты должен сидеть с чистым листом и что-то писать? Ну ИИ может дать вам первый черновик. А позже вам придется проверить его и убедиться, что он действительно сделал то, что вы хотели, и проверить это фактами. Но я верю, что многое из того, что делает людей хорошими в мышлении, происходит именно в этих местах.
И я старше, и у меня есть самодисциплина, и, может быть, это просто я придерживаюсь старого способа делать это, верно? Вы могли бы сказать, зачем использовать калькулятор с этой точки зрения. Но меня больше всего беспокоит то, что я не уверена, стоит ли им использовать ИИ много или использовать мало.
Для меня это на самом деле очень большой разветвленный путь, верно? Хочу ли я, чтобы мои дети научились использовать искусственный интеллект? Или находились в контексте, где они часто его используют, или на самом деле, хочу ли я защитить их от него настолько, насколько это возможно, чтобы они развили больше способности спокойно читать книгу самостоятельно или писать первывми черновик? Я на самом деле не знаю. Мне интересно, есть ли у вас какое-то мнение по этому поводу.
ДАРИО АМОДЕИ: Я думаю, что это часть того, что делает взаимодействие между ИИ. и общество сложным, в котором иногда трудно отличить, когда работает ИИ, экономя ваш труд или тяжелую работу, а не делает что-то интересное. Я буду повторять это снова и снова, вы получаете какую-то технологическую вещь, какую-то технологическую систему, которая делает то, что, по вашему мнению, является основой того, что вы делаете, и тем не менее, то, что вы делаете, оказывается, состоит из большего количества частей, чем вы думаете, и это как бы складывается в нечто большее, не так ли?
Как и раньше, мне приходилось спрашивать дорогу. Для этого у меня есть Google Maps. И вы можете беспокоиться, не слишком ли я завишу от Google Maps? Забываю ли я окружающую среду? Что ж, оказывается, в каком-то смысле мне все еще нужно чувствовать город и окружающую среду. Это просто как бы перераспределяет пространство в моем мозгу на какой-то другой аспект задачи.
И я просто подозреваю — я не знаю. Внутри Anthropic я делаю одну из вещей, которая помогает мне управлять компанией: я пишу документы по стратегии или просто размышляю в каком-то направлении, о котором другие не думали. И, конечно, иногда я использую для этого внутренние модели. И я думаю, что я обнаружил следующее: да, иногда они немного хороши в концептуализации идеи, но фактическое происхождение идеи, я просто нашел рабочий процесс, в котором я не использую их для этого. Они не так уж и полезны для этого. Но они помогают понять, как сформулировать определенную вещь или как уточнить мои идеи.
Так что, возможно, я просто говорю — я не знаю. Вы просто находите рабочий процесс, в котором вещь дополняет вас. И если это не происходит естественным путем, то со временем каким-то образом все равно происходит. Опять же, если системы станут достаточно общими, если они станут достаточно мощными, нам, возможно, придется думать в другом направлении. Но в краткосрочной перспективе я, по крайней мере, всегда это находил. Возможно, это слишком оптимистично.
ЭЗРА КЛЕЙН: Я думаю, что это хорошее место, чтобы закончить этот разговор. Хотя, очевидно, экспоненциальная кривая продолжается. Итак, наш последний вопрос: какие три книги вы бы порекомендовали аудитории?
ДАРИО АМОДЕИ: Итак, да, я подготовил три. Все они актуальны, хотя в некоторых случаях и косвенно. Первая будет очевидной. Это очень длинная книга. Книга на физическом носителе очень толстая, но «Создание атомной бомбы» Ричарда Роудса. Это пример технологии, которая развивается очень быстро и имеет очень широкие последствия. Просто просматривая всех персонажей и то, как они на это отреагировали, и как люди, которые по сути были учеными, постепенно осознали невероятные последствия этой технологии и то, как она приведет их в мир, который сильно отличается от того, к которому они привыкли.
Моя вторая рекомендация — научно-фантастическая серия книг «Пространство». Итак, я сначала посмотрел сериал, а потом прочитал все книги. И мир, который он создает, очень продвинут. В некоторых случаях продолжительность жизни у него больше, и люди вышли в космос. Но мы по-прежнему сталкиваемся с некоторыми из тех же геополитических вопросов, а также с некоторыми из тех же неравенств и эксплуатации, которые существуют в нашем мире, все еще присутствуют, а в некоторых случаях даже хуже.
Вот и весь фон. И суть его в том, что в этот мир привносится какой-то принципиально новый технологический объект и как все на него реагируют, как на него реагируют правительства, как на него реагируют отдельные люди и как на него реагируют политические идеологии. Так вот, я не знаю. Когда я прочитал их несколько лет назад, я увидел много параллелей.
И тогда моей третьей рекомендацией будет «Августовские пушки», которые, по сути, представляют собой историю начала Первой мировой войны. Основная идея заключается в том, что кризисы происходят очень быстро, почти никто не знает, что происходит. Существует множество просчетов, потому что в центре всего этого находятся люди, и нам как-то нужно научиться делать шаг назад и принимать более мудрые решения в эти ключевые моменты. Говорят, что Кеннеди прочитал эту книгу еще до кубинского ракетного кризиса. И поэтому я надеюсь, что наши нынешние политики, по крайней мере, думают в том же духе, потому что я думаю, что подобные кризисы могут произойти и на нашем пути.