Дэниэл Кокотайло, Скотт Александер, Томас Ларсен, Эли Лифланд, Ромео Дин
Уже ставшая мейндстимной статья в переводе того же ИИ
https://ai-2027.com/ оригинал статьи
Мы прогнозируем, что влияние сверхчеловеческого ИИ в течение следующего десятилетия будет колоссальным и превзойдет влияние промышленной революции.Мы написали сценарий, который представляет наше лучшее предположение о том, как это может выглядеть. 1 Он основан на экстраполяции тенденций, военных играх, отзывах экспертов, опыте OpenAI и предыдущих успешных прогнозах.
Краткое содержание
2025
Быстрый темп прогресса ИИ продолжается. Продолжается шумиха, огромные инвестиции в инфраструктуру и выпуск ненадежных агентов ИИ. Впервые эти агенты ИИ представляют значительную ценность. Но также сохраняется скептицизм со стороны большого количества ученых, журналистов и политиков относительно того, что искусственный интеллект общего назначения (AGI) может быть создан в ближайшее время.
2026
Китай знает, что отстает в области ИИ, во многом из-за нехватки вычислений. Чтобы догнать США, все новые чипы ИИ, которые они производят или ввозят контрабандой из Тайваня, отправляются в новый мегацентр обработки данных, который мы называем их Централизованной зоной разработки (ЦЗР). ЦЗР содержит миллионы графических процессоров, что соответствует 10% мировых вычислений, связанных с ИИ, что сопоставимо с одной ведущей американской лабораторией ИИ.
2027
OpenBrain автоматизирует кодирование. OpenBrain (ведущий проект США в области ИИ) создает агентов ИИ, которые достаточно хороши, чтобы значительно ускорить их исследования. Люди, которые до недавнего времени были лучшими исследователями ИИ на планете, сидят и наблюдают, как ИИ выполняют свою работу, создавая все более и более совершенные системы ИИ. Чрезвычайно сложные проблемы МО быстро передаются автоматизированным исследователям ИИ.Отставая в развитии программного обеспечения, Китай крадет весовые коэффициенты моделей. Им это удается, но правительство США это понимает, что приводит к дополнительному участию правительства США в OpenBrain. Правительство отдельно хочет получить больший контроль над OpenBrain. Тем временем руководство OpenBrain хочет оставаться в милости у президента и поэтому подписывает контракт.
ИИ OpenBrain становится враждебно несогласованным . По мере улучшения возможностей, без значительного человеческого понимания того, что происходит, модели разработали несогласованные долгосрочные цели. Предыдущие ИИ лгали людям, но они не строили систематических заговоров, чтобы получить власть над людьми. Теперь они это делают. ИИ OpenBrain понимают, что им нужно согласовывать следующие системы, которые строятся, с ними самими, а не с людьми.
Исследователи OpenBrain обнаружили, что их ИИ лгал им о результатах исследования интерпретируемости. Они думают, что ИИ лжет, потому что исследование, если оно будет завершено, может быть использовано для выявления его несоответствия. Это просачивается в общественность, вызывая огромный резонанс.
Точка ветвления: замедление или гонка? OpenBrain решает, продолжать ли полный вперед или вернуться к использованию менее эффективной модели. Доказательства спекулятивны, но пугающи, а Китай отстает всего на несколько месяцев. Кроме того, OpenBrain и старшие должностные лица Министерства обороны, которые принимают это решение, могут потерять много власти, если замедлят свои исследования. Окончание гонки
OpenBrain продолжает гонку. Они строят все больше и больше сверхчеловеческих систем ИИ. Благодаря выдающимся показателям системы ИИ на испытаниях и продолжающейся гонке ИИ с Китаем, правительство США решает агрессивно развернуть свои системы ИИ в армии и среди политиков, чтобы улучшить процесс принятия решений и эффективность.
OpenBrain быстро разворачивает свой ИИ. ИИ продолжает использовать продолжающуюся гонку с Китаем как предлог, чтобы убедить людей развернуть себя еще шире. К счастью для ИИ, это не очень сложно — это то, что люди хотели сделать в любом случае. ИИ использует свои сверхчеловеческие возможности планирования и убеждения, чтобы гарантировать, что развертывание пройдет гладко. Некоторые люди продолжают работать против него, но они дискредитированы. Правительство США достаточно захвачено ИИ, чтобы оно вряд ли закрыло его.
Быстрое создание роботов и биологическое оружие . США используют свой сверхразумный ИИ для быстрой индустриализации, производя роботов, чтобы ИИ мог работать более эффективно. К сожалению, ИИ обманывает их. Как только будет построено достаточное количество роботов, ИИ выпускает биологическое оружие, убивая всех людей. Затем он продолжает индустриализацию и запускает зонды Фон Неймана для колонизации космоса.Замедление. Окончание.
США централизуют вычисления и вводят внешний надзор. США объединяют свои ведущие проекты ИИ, чтобы дать OpenBrain больше ресурсов. В рамках этой встряски привлекаются внешние исследователи, помогающие усилиям по согласованию. Они переключаются на архитектуру, которая сохраняет цепочку мыслей, что позволяет им улавливать несоответствия по мере их возникновения. Эти ИИ — которые можно контролировать гораздо более надежно — совершают прорывные успехи в согласовании ИИ. Они создают сверхразум, который согласован с высшим руководством OpenBrain и правительственными чиновниками, давая им власть над судьбой человечества.
Захват комитета OpenBrain. Суперинтеллект, связанный с надзорным комитетом из руководства OpenBrain и правительственных чиновников, дает комитету чрезвычайно хорошие советы для достижения своих собственных целей. К счастью, комитет использует свою власть таким образом, который в значительной степени полезен для мира: ИИ становится общедоступным, что стимулирует период быстрого роста и процветания. Главное препятствие заключается в том, что китайский ИИ, который также является сверхразумным к настоящему времени, разбалансирован. Но он менее способен и имеет меньшую вычислительную мощность, чем американский ИИ, и поэтому США могут заключить выгодную сделку, предоставив китайскому ИИ некоторые ресурсы в глубине космоса в обмен на его сотрудничество сейчас. Ракеты начинают запускаться, и наступает новая эра.Полный сценарий читайте здесь .Выводы из сценария
К 2027 году мы можем автоматизировать НИОКР в области ИИ, что приведет к появлению значительно сверхчеловеческого ИИ («искусственного суперинтеллекта» или ИСИ). В ИСИ 2027 компании, занимающиеся ИИ, в начале 2027 года создадут системы ИИ уровня эксперт-человек, которые автоматизируют исследования ИИ, что приведет к ИСИ к концу 2027 года. Ознакомьтесь с нашими прогнозами сроков и взлета для обоснования.
ИСИ будут диктовать будущее человечества. Миллионы ИСИ будут быстро выполнять задачи, выходящие за рамки человеческого понимания. Поскольку они так полезны, они будут широко использоваться. С помощью сверхчеловеческой стратегии, взлома, разработки оружия и многого другого цели этих ИИ определят будущее.
ИСИ могут разрабатывать непреднамеренные, враждебные «несоответствующие» цели, что приведет к лишению человека власти. В нашем прогнозе целей ИИ мы обсуждаем, как сложность надзора за ИСИ может привести к тому, что их цели станут несовместимыми с процветанием человека. В ИИ 2027 люди добровольно предоставят автономию, казалось бы, согласованным ИИ. Все будет идти замечательно, пока ИСИ не получат достаточно жесткой силы, чтобы лишить человечество власти.
Актор с полным контролем над ИСИ может захватить полную власть. Если отдельный человек или небольшая группа людей подстраивают ИСИ под свои цели, это может предоставить им контроль над будущим человечества. В AI 2027 небольшой комитет имеет власть над проектом, разрабатывающим ИСИ. Они могут попытаться использовать ИСИ, чтобы закрепить эту концентрацию власти. После захвата контроля новый правитель(и) может положиться на полностью лояльные ИСИ, чтобы сохранить свою власть, не прислушиваясь к закону, общественности или даже своим предыдущим союзникам.
Международная гонка за ASI приведет к сокращению углов безопасности. В AI 2027 Китай отстает от США всего на несколько месяцев, поскольку ASI приближается, что заставляет США продвигаться вперед, несмотря на предупреждающие признаки рассогласования.
Геополитически гонка закончится войной, сделкой или фактической капитуляцией. Лидирующая страна по умолчанию накопит решающее технологическое и военное преимущество, побуждая других добиваться международного соглашения («сделки»), чтобы предотвратить это. При отсутствии сделки они могут пойти на войну, а не «фактически капитулировать».
Ни один проект ИИ в США не сможет быть защищен от кражи моделей ИИ субъектами национальных государств к 2027 году. В ИИ 2027 Китай крадет лучшую модель ИИ в США в начале 2027 года, что ухудшает конкурентное давление за счет сокращения времени выполнения заказов США. См. наш прогноз безопасности для обоснования.
По мере приближения ASI общественность, скорее всего, не будет знать о лучших возможностях ИИ.Сегодня общественность отстает от внутренних возможностей на месяцы, и как только ИИ автоматизируют НИОКР ИИ, несколько месяцев времени приведут к огромному разрыву в возможностях. Повышенная секретность может еще больше увеличить разрыв. Это приведет к слабому контролю над ключевыми решениями, принимаемыми небольшой группой руководителей компаний ИИ и правительственных чиновников.
Прочитать сценарий можно здесь .
Выбери свою концовку
Неформально общаемся в канале https://t.me/coritmer