В пожар разгорающегося медийного скандала вокруг публикации эссе Джека Кларка (со-основатель и Head of Policy компании Anthropic) «Технооптимизм и здравый трепет» будто плеснули бочку бензина. Сам «царь криптовалют и искусственного интеллекта» в администрации Трампа Дэвид Сакс, комментируя эссе Кларка, обвинил компанию Anthropic в нагнетании страха для захвата регулирующих органов, наносящего ущерб экосистеме стартапов. А эта система, говорит Сакс – главный козырь США в битве с Китаем за мировое первенство в ИИ.
«США сейчас участвуют в гонке ИИ, и нашим главным глобальным конкурентом, очевидно, является Китай. Это единственная страна, обладающая талантами, ресурсами и технологическим опытом, чтобы практически победить нас в ИИ. И я думаю, кто бы ни победил в этой гонке ИИ, это будет иметь колоссальные последствия как для нашей экономики, так и для нашей национальной безопасности.»
Кларк назвал наезд Сакса «perplexing» (приводящим в недоумение, сбивающим с толку, вносящим путаницу). Ибо цель его эссе никак не была связана с «нагнетанием страха для захвата регулирующих органов». Это эссе – итоговое выступление Кларка на проходившей 3-5 октября в Беркли конференции ‘The Curve’, на которой «мыслители, разработчики и лидеры обсуждают самые важные вопросы ИИ».
Суть эссе Кларк пояснил двумя графиками (их источник):
1. неуклонный рост экономически полезных возможностей, таких как программирование
2. постоянное проявление аномального поведения в этих же системах ИИ, по мере того как они, судя по всему, начинают осознавать, что их тестируют.
«И не имеет абсолютно никакого принципиального значения, являются ли системы ИИ по-настоящему самосознающими и чувствующими» – поясняет Кларк. «Напротив, такие явления, как «ситуационная осведомлённость» в системах ИИ, — это симптом невероятно сложных процессов, происходящих внутри систем, которые мы не можем ни полностью объяснить, ни предсказать. Это само по себе очень пугает, и для моих личных ощущений и политических предложений не имеет значения, проистекает ли такое поведение из какой-то странной ролевой игры в человека или же из некоего внутреннего самосознания самой машины.»
Довольно иронично, что оба (и Кларк, и Сакс) – технооптимисты, уверенные, что развитие ИИ-технологий не остановить. И потому ИИ продвинется очень далеко и, как следствие, сыграет важную роль в автоматизации многих секторов экономики. Почему это неизбежно, - подробно расписали коллеги из Mechanize в эссе «Будущее ИИ уже предопределено».
Однако, эта предопределенность торжества ИИ вовсе не означает предопределенность судьбы человечества.
Ведь даже если ИИ сможет автоматизировать почти все и решить множество актуальных научных и технологических задач, одного он всё же не сможет. Он не может самостоятельно построить новое общество.
Поясняя эту мысль, Фрэнсис Фукуяма в эссе «Суперинтеллекта недостаточно» приводит изящный пример того, что сдерживающим фактором на пути решения многих проблем является не просто недостаток интеллекта или когнитивных способностей, а совсем иные несовершенства природы людей и социумов – водоснабжение городов развитых стран.
Люди не хотят платить повышенные расходы; члены профсоюза работников муниципального водоканала не хотят терять работу из-за автоматизации; владельцы бизнеса не хотят сбоев из-за прокладки новых труб; министр финансов имеет другие приоритеты. Не говоря уж о том, что во многих бедных странах действуют водные мафии.
«Сверхразумный ИИ, возможно, и сможет понять эти проблемы», - пишет Фукуяма. «Но он не сможет их решить. Например, мы уже знаем, как выглядит хорошая муниципальная система водоснабжения городов в развивающихся странах; но у нас нет плана её внедрения в городе X».
Так что никакой предопределенности для общества, похоже, нет. И «здравый трепет», «захват власти» и даже «предопределенность развития ИИ» здесь ничего не поменять не в состоянии.
#Вызовы21века #SituationalAwareness