поздней весной 1956 года в Дартмутском колледже собралась небольшая группа математиков и исследователей ПК, чтобы отправиться в фантастическое предприятие по планированию хитрых машин. Окончательная цель, с их точки зрения, состояла в том, чтобы собрать машины, соответствующие человеческим знаниям. По прошествии многих лет, когда ИИ превратился в созданное поле, он согласился на меньшее. Были необычайные триумфы в логике, мышлении и игре, однако упрямое продвижение в таких областях, как зрение и тонкое управление двигателем. Это заставило многих ученых в области искусственного интеллекта отказаться от своих прежних целей полностью широкого понимания и сосредоточиться на решении явных проблем с помощью конкретных методов.
Возможно, самым быстрым способом борьбы с ИИ было разработать поддельные нейронные организации, которые следуют за дизайном человеческого мозга. Несколько недавно эта методология наконец-то заработала. Специализированные усовершенствования в их плане и подготовке, в сочетании с более экстравагантными наборами данных и действительно вычислительной мощью, позволили нам подготовить гораздо более крупные и глубокие организации, чем когда-либо за последнее время. Они могут расшифровывать между диалектами со способностью, приближающейся к способности человеческого переводчика. Они могут создавать фотореалистичные изображения людей и существ. Они могут разговаривать голосами людей, на которых они настроились всего на несколько минут. Кроме того, они могут научиться тонкому, непрерывному контролю, например, как управлять транспортным средством или использовать автоматизированную руку для объединения деталей Lego.
В любом случае, возможно, главным признаком грядущих событий является их способность понять, как себя вести. Последовательное неуклонное продвижение привело шахматы от игры новичка в 1957 году до сверхчеловеческого уровня в 1997 году и значительно дальше. Для этого требовалось огромное количество экспертной человеческой информации о шахматной технике. В 2017 году специалисты из ИИ-организации DeepMind создали AlphaZero: фреймворк на основе нейронной организации, который выяснил, как играть в шахматы без какой-либо подготовки. За то время, которое требуется эксперту, чтобы сыграть в две игры, он нашел жизненно важную информацию, на раскрытие которой людям потребовались сотни лет, играя выше уровня лучших людей или обычных проектов. Точно такой же расчет точно так же выяснил, как играть в Го без какой-либо подготовки, и в течение восьми часов намного превзошел возможности любого человека. Лучшие в мире игроки в Го были ошеломлены. Как выразился превалирующий лучший на планете Ке Цзе: "После того, как человечество прожгло тысячелетия, совершенствуя наши стратегии, ПК раскрывают нам, что люди полностью не соответствуют действительности ... Я бы рискнул сказать, что ни один человек не соприкасался с краем реальности Го."
Вопрос, который мы исследуем, заключается в том, существуют ли мыслимые пути, с помощью которых глубоко подкованная структура AGI может удерживать контроль. Более того, соответствующий ответ, по всем признакам, должен быть утвердительным.
Именно этот консенсус является самым удивительным компонентом передового ИИ и возродил стремление координировать и превосходить каждую часть человеческого понимания. В то время как нестареющие раунды шахмат и Го лучше всего показывают великолепие, которого может достичь глубокое обучение, его экспансивность была раскрыта с помощью компьютерных игр Atari 1970-х годов. В 2015 году специалисты запланировали расчет, который мог бы выяснить, как играть во многие удивительно уникальные игры Atari 1970-х годов на уровнях, намного превосходящих человеческие возможности. В отличие от фреймворков для шахмат или Го, которые начинаются с символического изображения доски, игровые фреймворки Atari учились и доминировали в этих играх прямо из счета и грубых пикселей.
Этот всплеск прогресса благодаря глубокому обучению подпитывает необычайную надежду и негатив в отношении того, что вскоре может быть мыслимо. Существуют нешуточные опасения по поводу того, что ИИ поселится в дружественной сегрегации, обеспечит массовую безработицу, поддержит серьезную разведку и злоупотребит стандартами войны. Моя книга "Пропасть: экзистенциальный риск и будущее человечества" посвящена шансам в самом большом масштабе. Могут ли достижения в области ИИ представлять экзистенциальную опасность для человечества?
самая мыслимая экзистенциальная опасность исходила бы от достижения фантастического желания ученых ИИ сделать специалистов с проницательностью, превосходящей нашу собственную. По большому счету, они полагали, что существует 50-процентная вероятность того, что структуры ИИ будут иметь возможность "выполнять каждое начинание предпочтительнее и эффективнее, чем специалисты-люди" к 2061 году. Главная локальная область не рассматривает поддельное общее озарение (AGI) как диковинную мечту, в такой степени, как нечто, что почти наверняка находится в пределах столетия. Поэтому мы должны принять это как наш начальный этап в изучении опасностей и рассмотреть, что могло бы произойти, если бы был сделан АГИ.
В настоящее время человечество само отвечает за свою судьбу. Мы можем выбрать наше будущее. Эквивалент не действителен для шимпанзе, черных дроздов или некоторых других видов Земли. Наша новая ситуация на планете является непосредственным следствием наших интересных умственных способностей. Что могло бы произойти, если бы в какой-то момент в этом столетии специалисты сделали AGI, превосходящий человеческие возможности практически во всех областях? В этой демонстрации творения мы откажемся от нашего статуса самых проницательных элементов на Земле. В одиночку это, вероятно, не будет чрезмерным поводом для беспокойства. Ибо есть множество способов, которыми мы, возможно, хотели бы сохранить контроль. К сожалению, пара ученых, занимающихся такими планами, обнаруживают их, несомненно, более хлопотными, чем ожидалось. Действительно, именно они являются главными выразителями беспокойства.
На случай, если их знания невероятно превзойдут наши собственные, мы не должны ожидать, что именно человечество победит в споре и будет контролировать наше будущее.
Чтобы понять любую причину, по которой они обеспокоены, будет полезно взглянуть на наши нынешние стратегии ИИ и понять, почему их трудно регулировать или контролировать. Одна из основных идеальных моделей того, как мы можем в конечном итоге сделать AGI, объединяет глубокое обучение с предыдущей мыслью, называемой вспомогательным обучением. Сюда входят специалисты, которые получают премию (или дисциплину) за выполнение различных демонстраций в разных условиях. Обладая достаточной проницательностью и опытом, специалист оказывается удивительно искусным в руководстве своими текущими обстоятельствами в штатах, где он получает высокую награду. Конкретный из которых акты и государства производят награду для специалиста, известен как его призовой потенциал. Это может быть либо указано его создателями, либо изучено специалистом. К сожалению, ни один из этих методов не может быть легко расширен для кодирования человеческих качеств в наградной работе специалиста. Наши качества чрезмерно непредсказуемы и неприхотливы, чтобы указывать вручную. Кроме того, мы еще не приблизились к тому, чтобы иметь возможность предположить всю сложность человеческих качеств, заметив их поведение. Независимо от того, можем ли мы это сделать, человечество состоит из множества людей с различными качествами, эволюционирующими качествами и уязвимостью в отношении своих качеств.
Любая близкая попытка приспособить специалиста по ИИ к человеческим качествам создаст просто дефектный дубликат. В определенных условиях это смещение было бы по большей части безобидным. Тем не менее, чем острее рамки искусственного интеллекта, тем больше они могут изменить мир, и тем дальше будут развиваться события. В тот момент, когда мы обдумываем результат, мы понимаем, как такие искаженные усилия в идеальном мире могут обернуться плохо: поверхностность Дивного Нового Мира или истощение Со Сложенными руками. И удивительно, что это своего рода наилучшие ситуации. Они признают, что разработчики фреймворка пытаются приспособить его к человеческим качествам. Тем не менее, мы должны предвидеть, что некоторые разработчики должны быть более сосредоточены на создании фреймворков для достижения различных целей, таких как победа в конфликтах или повышение выгод, возможно, почти не обращая внимания на моральные требования. Эти рамки могут быть значительно более опасными. В нынешнем мировоззрении достаточно проницательные специалисты в конечном итоге будут иметь инструментальные цели, чтобы ввести нас в заблуждение и ошеломить. Такое поведение не было бы вызвано такими чувствами, как страх, презрение или склонность терпеть. Учитывая все обстоятельства, это прямо вытекает из его решительного стремления расширить свою награду: быть убитым-это тип калеки, который затруднит получение высокой награды, поэтому структура усиливается, чтобы держаться от нее подальше.
Наконец, можно было бы убедить структуру вырвать контроль над вещами у человечества, поскольку это помогло бы достичь каждой из этих инструментальных целей: получить гигантские активы, воздерживаясь при этом от закрытия или изменения своей наградной работы. Поскольку люди, как правило, вмешиваются в каждую из этих инструментальных целей, возникает необходимость скрывать их от нас до тех пор, пока мы не пройдем точку невозврата, чтобы иметь возможность создать значительную оппозицию. Более того, если бы их проницательность значительно превзошла нашу собственную, мы не должны были бы ожидать, что именно человечество победит в споре и будет контролировать наше будущее.
Как возможно, чтобы структура ИИ удерживала контроль? Существует значительная путаница (вызванная Голливудом и средствами массовой информации), что для этого требуются роботы. Учитывая все обстоятельства, какими еще средствами ИИ мог бы действовать в реальном мире? Без роботов фреймворк может просто передавать слова, картинки и звуки. В любом случае, появление секунды показывает, что это в целом то, что, как ожидается, возьмет под контроль. Ибо самые вредные личности в истории не были самыми обоснованными. Гитлер, Сталин и Чингисхан осуществили свое прямое командование над огромными частями мира, используя слова, чтобы убедить миллионы других людей победить в основных реальных вызовах. Поскольку структура искусственного интеллекта может заманить или заставить людей сделать свое реальное предложение, она ни в коем случае не потребует роботов.
e не может точно понять, как фреймворк может удерживать контроль. Тем не менее, полезно рассмотреть иллюстративный путь, который мы действительно можем понять как более низкий путь к тому, что мыслимо.
Начнем с того, что фреймворк ИИ мог бы получить доступ к Интернету и скрыть огромное количество дубликатов подкрепления, разбросанных среди шатких фреймворков ПК по всей планете, готовых проснуться и продолжить работу, если первый будет удален. Действительно, даже к этому моменту ИИ будет по существу трудно уничтожить: подумайте о политических препятствиях для уничтожения всех жестких дисков на планете, где у него может быть подкрепление. Тогда он мог бы взять под контроль больше, чем огромное количество нестабильных фреймворков в Интернете, формируя огромную "ботнет", огромное увеличение вычислительных ресурсов, дающее почву для усиления силы. С этого момента он может приобретать денежные активы (взламывая финансовые балансы на этих компьютерах) и кадры (используя вымогательство или рекламу против бессильных лиц или просто расплачиваясь с ними взятыми наличными). Тогда это было бы почти так же невероятно, как хорошо обеспеченный преступный скрытый мир, но без него было бы намного сложнее обойтись. Ни одно из этих средств не включает в себя ничего странного—человеческие программисты и мошенники эффективно делали эти вещи, используя только Интернет.
Наконец-то ИИ придется снова поднять свою силу. Существует множество мыслимых путей: путем захвата большей части мировых ПК, позволяя ему иметь миллионы или миллиарды сотрудничающих дубликатов; путем использования его собственного расчета, чтобы улучшить его собственное понимание намного выше человеческого уровня; путем использования его знаний для создания новых достижений в области оружия или денежных авансов; путем контроля над главами значительных мировых сил (принуждение или гарантия будущей силы).); или тем, что люди, находящиеся под его влиянием, используют оружие массового уничтожения, чтобы нанести ущерб остальному человечеству.
Очевидно, что ни одна из существующих систем искусственного интеллекта не может сделать ничего из этого. В любом случае, вопрос, который мы исследуем, заключается в том, существуют ли мыслимые пути, с помощью которых исключительно умная структура AGI может удерживать контроль. Более того, соответствующий ответ, по всем признакам, должен быть утвердительным. История на данный момент включает в себя примеры элементов с пониманием человеческого уровня, приобретающих щедрую часть всей мировой силы в качестве инструментальной цели для достижения того, что им нужно. Кроме того, мы видели, как человечество выросло из второстепенных видов животных, в которых не было ровно 1 000 000 человек, до того, чтобы иметь решительную власть над тем, что должно произойти. Поэтому мы должны признать, что это работает для новых веществ, понимание которых значительно превосходит наше собственное.
его аргументы в пользу экзистенциальной опасности со стороны ИИ безошибочно теоретичны. Однако спекулятивный случай, что существует огромная опасность, может быть более приоритетным, чем сильный случай для опасности с крайне низкой вероятностью, например, связанной с космическими камнями. Что нам нужно, так это подходы, позволяющие судить о том, насколько спекулятивно это на самом деле, и чрезвычайно ценный начальный этап-услышать, что думают об этой опасности те, кто работает в этой области.
На самом деле здесь меньше конфликтов, чем кажется на первый взгляд. Люди, которые предупреждают руководство, сходятся во мнении, что промежуток времени до AGI составляет много лет, а не лет, и обычно рекомендуют исследования по договоренности, а не по неофициальному праву. Таким образом, значительный конфликт на самом деле не связан с тем, мыслим ли АГИ и может ли он представлять опасность для человечества. Речь идет о том, должна ли нас сейчас беспокоить потенциальная экзистенциальная опасность, которая, кажется, существует много лет. Я не могу отделаться от мысли, что так и должно быть.
Лучшее окно в то, что действительно принимают те, кто сколачивает ИИ, исходит из исследования аналитиков ИИ 2016 года: 70% согласились с широким утверждением преподавателя Калифорнийского университета в Беркли Стюарта Рассела о том, почему лучший в классе ИИ с искаженными качествами может представлять опасность; 48% полагали, что общество должно больше сосредоточиться на исследованиях благополучия ИИ (всего на 12% меньше). Более того, большая часть респондентов оценила, что вероятность того, что затяжной эффект AGI будет "удивительно ужасным (например, прекращение жизни человека)", составила, по крайней мере, 5%.
Я отслеживаю этот последний момент, особенно поразительный—в каком количестве различных областей, по мнению обычного ученого-водителя, существует 1 из каждых 20 возможностей, что окончательная цель этой области будет очень ужасной для человечества? Существует масса уязвимостей и конфликтов, однако это вовсе не периферийная позиция, что AGI будет создан в течение 50 лет и что это вполне может быть экзистенциальной катастрофой.
Несмотря на то, что наши нынешние и предсказуемые рамки не представляют опасности для человечества во всем мире, время имеет существенное значение. В какой-то степени это объясняется тем, что прогресс может наступить внезапно: за счет эксцентричного скачка вперед в исследованиях или быстрого увеличения основных интеллектуальных структур (например, за счет их использования в огромное количество раз большего количества оборудования или предоставления им возможности улучшить свои собственные знания). Более того, частично это происходит на том основании, что особенно кардинальные изменения в человеческих начинаниях могут потребовать более многих лет для достаточного планирования. По выражению Демиса Хассабиса, главного сторонника DeepMind:
Нам нужно использовать личное время, когда все спокойно, чтобы подготовиться к тому, когда все перестанет дурачиться в течение долгого времени. Время, которое у нас есть сейчас, очень важно, и мы должны использовать его.