Два новых отчета организации по безопасности AI Conjecture [1, 2] предлагают новый (уточненный и расширенный) взгляд на геополитические сценарии развития ИИ.
Большинство предыдущих отчетов с вариантами сценариев, когда и как может начаться война лидеров за первенство в ИИ-гонке, способная перерасти в ядерный апокалипсис, ограничивалось лишь тремя вариантами. Прогностическая аналитика авторов таких отчетов была сфокусирована исключительно на двух лидерах мировой ИИ-гонки: США и Китай.
Два новых отчета AI Conjecture впервые посмотрели на вопрос шире.
• А собственно, почему во всех сценариях списываются со счетов действия остальных геополитических акторов?
• Ведь помимо США и Китая есть достаточно сильные (в военном смысле) мировые игроки, действия которых (в том числе превентивные) могут кардинальным образом повлиять на исход ИИ-гонки военными методами. И если так, то сценариев может быть больше, чем три.
В результате такой расширенной прогностики у экспертов AI Conjecture получаются три базовых сценария и три дополнительных.
Базовые сценарии AI Conjecture, как и в большинстве предыдущих отчетов, основаны на трёх доктринах:
1. Доктрина доминирования. Первый субъект, разработавший достаточно продвинутый ИИ, займет позицию постоянного доминирования над всеми остальными.
2. Доктрина вымирания. Сверхразумный ИИ выйдет из-под контроля человека, что приведёт к вымиранию человечества или его окончательному лишению власти.
3. Доктрина замещения. ИИ обещает значительное ускорение научного и экономического прогресса, но создаёт риски чрезмерной концентрации власти и манипулирования массами.
4-й же сценарий (доктрина «Большой свары») был впервые рассмотрен совсем недавно в отчете RAND Corp. Этот сценарий может возникнуть в результате нанесения одним из двух ИИ-лидеров (решившим, что он проиграет ИИ-гонку) превентивного военного удара по сопернику, вплотную приблизившемуся (а может и нет, но так решит его противник) к созданию сверхинтеллекта. AGI не AGI – тут будет не важно, как это называть, ибо никто при нажатии красной кнопки разбираться в вопросах терминологии уже не будет.
А еще в отчетах AI Conjecture есть два совсем новых сценария:
• 5-й сценарий на основе Доктрины объединения «середняков».
— Два лидера не будут тормозить развитие своих ИИ из-за опасений, что противник этого не сделает и, получив фору, придет к финишу первым.
— Но безнадежно отставшим в ИИ-гонке «середникам» первенство в ней так и так ничего не светит. И потому «середняки», в принципе, могли бы меж собой договориться. А если объединение «середняков» получится достаточно мощным (экономически, военно- и политически – подробности см. в отчетах), это объединение могло бы стать глобальным институтом, способным укоротить амбиции двух лидеров и выступить гарантом, предотвращающим «Большую свару» (например, такие страны, как Тайвань, Нидерланды и Южная Корея могли бы, за счет своей решающей роли в цепочке поставок для ИИ, сильно усложнить лидерам их путь к AGI).
• 6-й сценарий на основе Доктрины «середняка» с ядерной дубиной.
— Существует несколько средних держав, которые не способны конкурировать со сверхдержавами в гонке ИИ или в обычной войне, но обладают значительным ядерным потенциалом. Если бы такой субъект был достаточно обеспокоен рисками, связанными с разработкой ИИ, он мог бы оказывать значительное давление на сверхдержавы, угрожая ядерным ударом в случае превышения определённых лимитов развития ИИ.
— В этом сценарии «красные линии» должны быть установлены на столь экстремальных (запредельных) уровнях, что «Середняк» скорее согласится на полное уничтожение при ядерном обмене, чем позволил бы их пересечь. В то же время «красные линии» должны быть достаточно осторожными, чтобы, если их соблюдать, никто не смог создать ИИ, обнуляющий ядерное сдерживание.
#Вызовы21века #ИИриски #Хриски #AGI
Как думаете, какой из сценариев наиболее вероятен?