искусственные формы жизни или сразу разогнаться до постбиологической молекулярной сборки.
Я ожидаю, что, если кто-то создаст слишком мощный ИИ в нынешних условиях, все до единого представители человеческого вида и вся биологическая жизнь на Земле погибнут вскоре после этого.
Нет планов о том, как мы можем это сделать и выжить. OpenAI открыто объявили, что собираются заставить какие-то будущие ИИ выполнять нашу работу по согласованию ИИ. Любому разумному человеку должно быть достаточно услышать, что это и есть план, чтобы начать паниковать. У другой ведущей ИИ-лаборатории, DeepMind, вовсе нет плана.
уровня способностей заняло больше 60 лет. Решение безопасности сверчеловеческого интеллекта – не идеальной безопасности, безопасности в смысле «не убьёт буквально всех» – вполне может занять как минимум половину от этого. И особенность попыток сделать это с сверхчеловеческим интеллектом – что если с первой попытки не получилось правильно, то вы не учитесь на своих ошибках, потому что вы мертвы. Человечество не учится на этой ошибке и не пытается снова и снова, как оно делало с другими вызовами на протяжении своей истории, потому что все погибли.
В науке и инженерии попытаться сделать что угодно правильно с первого раза – экстраординарное требование. У нас нет ничего похожего на подход, который позволил бы успешно с этим справиться. Если бы мы оценивали всю зарождающуюся область Сильного Искусственного Интеллекта минимальными стандартами, применимыми к мосту, который должен выдерживать пару тысяч машин, всю область прикрыли бы на следующий же день.
Мы не готовы. Мы не на пути к тому, чтобы стать готовыми в осмысленные сроки. Плана нет. Прогресс способностей ИИ намного, намного опережает прогресс согласования ИИ или даже прогресс понимания того, что, чёрт побери, происходит внутри этих систем. Если мы будем продвигаться так, мы все умрём.
Многие исследователи, работающие над этими системами, думают, что мы несёмся навстречу катастрофе. Больше из них осмеливаются говорить это в личном разговоре, а не на публику; они думаю, что не могут в одиночку остановить этот поезд, что даже если они уйдут со своей работы, её продолжат другие. Так что они думают, что с тем же успехом можно и продолжать. Это глупое положение дел, недостойная гибель для Земли, и остальное человечество должно в этот момент вмешаться и помочь индустрии решить её проблемы коллективных действий.
вооружённые силы. Немедленно составить международные соглашения по предотвращению переезда запрещённой деятельности в другие места. Отслеживать все проданные GPU. Если разведка говорит, что не подписавшая соглашение страна создаёт кластер GPU, надо меньше бояться вооружённого межнационального конфликта, чем нарушения моратория; будьте готовы уничтожить мятежный датацентр авиаударом.
Не подавайте ничего как конфликт национальных интересов, сделайте совершенно ясным, что любой, говорящий о гонке вооружений – дурак. Что мы все выживаем или гибнем в одной лодке – это не политическое заявление, а объективная реальность. Международная дипломатия должна в явном виде учитывать, что предотвращение сценария связанного с ИИ вымирания считается приоритетнее предотвращения полномасштабного обмена ядерными ударами, и что союзные страны «ядерного клуба» готовы пойти на некоторый риск обмена, если это нужно для снижения риска большого процесса обучения ИИ.
Такие политические изменения нужны, чтобы мы с партнёркой обнялись, сказали друг другу, что произошло чудо, что теперь есть шанс, и может быть, Нина выживет. Здравомыслящие люди, слышащие обо всём этом в первый раз, и здраво предлагающие «может, нам не следует», заслужили услышать, что для этого надо. И когда политические запросы настолько велики, то единственное, как это может пройти – если политики осознают, что продолжи они вести дела как обычно, делая то, что политически просто, то их дети тоже погибнут.
Остановите это всё.
Мы не готовы. Мы не на пути к тому, чтобы быть готовы в обозримом будущем. Если мы будем нестись вперёд, погибнут все, включая детей, которые это не выбирали, и не сделали ничего неправильного.
Остановите.