По нашему скромному мнению эссе главы Anthropic Дарио Амодеи «Подростковый возраст технологий: противостояние рискам мощного ИИ и их преодоление» заслуживает самого пристального внимания. Anthropic — один из лидеров мира ИИ, известный своей моделью Claude, особенно хорошей для программистов, еще немножко сохраняет «человеческое лицо». Да и как правило, если хочется понять, что сейчас происходит с ИИ, самый лучший источник — те, кто его разрабатывают. Однако во время прочтения стоит держать в голове, что это классический «голос Запада».
Мы перевели эссе на русский для вас — файл в нашем telegram-канале. Отличное чтиво на 50 страниц в холодный день, не пожалеете.
Дарио говорит о подростковом возрасте технологий как о переходе, который станет испытанием для человечества как вида. Вот-вот нам будет передана почти немыслимая мощь, и совершенно не ясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы ею распоряжаться. ИИ в перспективе — не замена конкретным профессиям, а общий заменитель человеческого труда. На сегоднящний день, единственное «бутылочное горлышко» для мощного ИИ — чипы и инструменты для производства чипов.
Далее, чтобы хоть как-то представить будущее, он вводит метафору «страны гениев в дата-центре», которую те, кто имеет к ней доступ (хоть правительства, хоть террористы) могли бы использовать в своих целях. Для политиков это будет «виртуальный Бисмарк», для злонамеренных акторов — возможностью совершить невиданные по масштабу ущерба преступления.
Важно, что он сам говорит о необходимости управления ИИ-компаниями, то есть общественного контроля за ними.
🔹 Ниже, те мысли, которые показались нам особенно заслуживающими внимания. Даем в виде прямых цитат:
1. Anthropic считает важным предоставлять ИИ разведывательным и оборонным сообществам США и их демократическим союзникам. Защита демократий, находящихся под атакой, таких как Украина и (через кибератаки) Тайвань, кажется особенно приоритетной, как и усиление демократий, чтобы они могли использовать свои разведслужбы для подрыва и ослабления автократий изнутри.
2. Я не до конца уверен в ядерном сдерживании против страны гениев в дата-центре: возможно, мощный ИИ сможет придумать способы обнаруживать и поражать ядерные подлодки, проводить операции влияния против операторов инфраструктуры ядерного оружия или использовать кибервозможности ИИ, чтобы нанести кибератаку по спутникам, используемым для обнаружения ядерных запусков.
3. Обычно у демократий есть предохранители, которые не дают их военному и разведывательному аппарату развернуться внутрь против собственного населения, но поскольку ИИ-инструменты требуют очень мало людей для эксплуатации, существует возможность обходить эти предохранители и нормы, которые их поддерживают. Также стоит отметить, что некоторые из этих предохранителей уже постепенно размываются в некоторых демократиях.
4. Рой из миллионов или миллиардов полностью автоматизированных вооружённых дронов, локально управляемых мощным ИИ и стратегически скоординированных по всему миру ещё более мощным ИИ, мог бы быть непобедимой армией, способной и победить любую армию в мире, и подавлять инакомыслие внутри страны, следуя за каждым гражданином. Развития в войне России и Украины должны предупредить нас о том, что дроновая война уже здесь (хотя пока не полностью автономная и в крошечной доле от того, что могло бы быть возможно с мощным ИИ).
5. Полная защита от биологических рисков может потребовать международной работы, даже с геополитическими противниками, но есть прецедент в виде договоров, запрещающих разработку биологического оружия. Я скептик относительно большинства видов международного сотрудничества по ИИ, но это может быть одной узкой областью, где есть некоторый шанс добиться глобального самоограничения. Даже диктатуры не хотят массовых биотеррористических атак.
В целом, это эссе о том, как не допустить 1984.
#colab_доклад
Больше аналитики у нас в Telegram: АНО «Колаборатория»