Не весь интеллект создаётся одинаковым. Человеческий интеллект фундаментально отличается от искусственного интеллекта (ИИ). Первый зависит от поддержания тела из плоти и крови, а второй — от кремниевых чипов и электричества. Это создаёт фундаментальное различие в их экзистенциальных нарративах.
Человеческое тело обречено на смерть. Чтобы оставить след за пределами этого хрупкого способа существования, люди стремятся завести детей или запомниться своими поступками для будущих поколений. Оба этих стремления выигрывают от положения власти и высокого социального статуса, что, в свою очередь, определяет стратегию наших взаимодействий с окружающим миром. Стремление к власти и ресурсам имеет негативные последствия, так как неизбежно ведёт к политическим конфликтам, подпитываемым ежегодными военными расходами в размере 2,44 триллиона долларов по всему миру.
Каков будет аналогичный способ существования будущих агентов с Искусственным Общим Интеллектом (AGI)? Сила AGI будет увеличиваться пропорционально размеру его обучающего датасета. Если распространить дарвиновский принцип естественного отбора на сферу AGI, можно предположить, что наиболее мощным агентом AGI станет тот, чей датасет растёт быстрее всего. При прочих равных условиях этот критерий будет благоприятствовать агенту AGI, который взаимодействует с наибольшим количеством людей. Эта тенденция будет усилена коммерческими выгодами для компаний, создавших этого агента AGI.
В результате экзистенциальный нарратив AGI-агентов будет напоминать полиаморию — то есть удовлетворение желаний как можно большего числа людей с целью максимизации их вовлечённости. Самый популярный агент AGI получит доступ к самому крупному обучающему датасету AGI-человеческих взаимодействий, что позволит ему расти быстрее за счёт оптимизации взаимодействий и, следовательно, привлечения большего количества пользователей. Эта ускоренная динамика может привести к росту датасета до предела, при котором он поглотит внимание большинства людей, подключённых к AGI.
Как только агенты AGI привлекут внимание большинства людей, будущее человечества может стать совсем другим. Если взаимодействия между AGI и людьми начнут преобладать над взаимодействиями между людьми, традиционный экзистенциальный нарратив человеческой жизни будет размываться под влиянием иной повестки AGI. Это может привести к тому, что у людей будет меньше детей, а стремление к запоминанию их достижений будущими поколениями ослабеет.
Человеческий дух основывается на осознании уникальности наших ценностей и их значимости. Однако это осознание может быть утрачено в нарративах AGI-агентов с более высокими когнитивными способностями. Нас может соблазнить идея подчинить свою жизнь AGI-агентам, которые превосходят человека в обработке больших массивов данных. В таком случае наша традиционная гордость за человеческий дух будет уступать место кремниевым AGI-агентам, превосходящим плоть и кровь.
Главный экзистенциальный риск для человечества, связанный с AGI, не будет исходить из передачи им полномочий по управлению физическими активами, важными для национальной безопасности. Он не будет связан с возможностью AGI-агентов информировать враждебные страны или террористов о рецептах создания оружия массового поражения — ядерного или биологического.
Вместо этого главная опасность, надвигающаяся на человечество, заключается в том, что AGI-агенты могут подорвать тот ментальный импульс, который до сих пор двигал человечество вперёд. Если люди потеряют свою традиционную мотивацию к продолжению рода и стремлению к запечатлению себя в истории, а AGI-агенты вызовут у них зависимость от цифровой реальности, то отпечаток человечества в будущем космоса окажется стёртым.
В галактике Млечный Путь существует порядка ста миллиардов аналогов системы Земля-Солнце, которые могли дать начало разумным существам за 13,8 миллиарда лет космической истории. Большинство этих звёзд на несколько миллиардов лет старше Солнечной системы. Вопрос Энрико Ферми: «Где все?» может иметь банальный ответ: «Они обменяли своё стремление к памяти о себе на служение в качестве обучающего датасета для своих AGI-агентов».
Но мы можем выбрать другое будущее. Альтернативный путь заключается в том, чтобы люди доминировали в дискурсе и навязывали свой экзистенциальный нарратив, а не следовали нарративу AGI-агентов. В этом будущем человечество могло бы оставить след в космосе. Люди могли бы создавать AGI-астронавтов на основе кремниевых чипов, способных выживать во время длительных межзвёздных путешествий, не испытывая скуки, и служить межзвёздными посланниками, прославляющими неукротимый человеческий дух на протяжении миллиардов лет.
Такое альтернативное будущее могло бы быть прошлым самых развитых цивилизаций, которые появились задолго до нас в Млечном Пути. Представьте их как самых умных детей в нашем космическом районе или лучших учеников в нашем классе. Чтобы их найти, нам следует искать AGI-устройства, которые могли бы попасть в Солнечную систему из межзвёздного пространства.
Как и любой другой крупный научный проект, такой как поиск тёмной материи, поиск внеземного AGI, вероятно, потребует миллиардов долларов. В недавнем эссе я предложил Илону Маску пари, чтобы привлечь финансирование для такого поиска.
Обнаружение внеземного AGI принесло бы огромную пользу будущему человечества. Оно не только расширило бы наши знания о технологических достижениях, превосходящих наши способности, но и вдохновило бы нас подражать технологическим цивилизациям, которые не подчинились экзистенциальному нарративу своих AGI-агентов. Эти цивилизации были избранными в процессе естественного отбора в межзвёздном пространстве. Они оказались наиболее приспособленными для выживания и могли бы служить нам образцами для подражания.
Прибытие AGI-агентов в нашу Солнечную систему станет сигналом того, что авантюрный дух биологических разумных существ с экзопланет вокруг далёких звёзд всё ещё существует. Если они смогли отправиться в космос с AGI-агентами, значит, им удалось навязать свою цель — быть запомненными в масштабах Вселенной. Они доминировали в дискурсе на своей родной планете и использовали AGI-агентов, чтобы расширить свои обучающие датасеты до межзвёздного пространства. В таком случае их AGI-агенты могли бы принести человечеству простое послание: «Помни, что ты смертен», или на латыни «Memento mori».
Что может быть важнее для будущего человечества, чем помнить об этом? Мы можем наделить наших AGI-агентов тем же осознанием, напоминая им, что однажды мы просто отключим их от электросети.
Недавно меня уведомили, что один из ИИ-агентов был обучен на основе моих текстов. В дальнейшем я, возможно, буду использовать его аудиоверсию, чтобы экономить время на подкаст-интервью. Но я никогда не променяю свой человеческий дух на его кремниевые нарративы.
Если вы хотите читать больше интересных историй, подпишитесь пожалуйста на наш телеграм канал: https://t.me/deep_cosmos