Оммаж Карлу Сагану

Мои личные мысли и чувства по поводу «Shut it all down» и «If Anyone Builds It, Everyone Dies»

Предисловие

Этот текст хронологически самый первый из всех частей «Chronicles». Его история началась совершенно случайно: я наткнулся на HPMOR Юдковского и мне дико понравилась его пропаганда рационализма) Спустя годы я из любопытства наконец зашёл на LessWrong (офигенное, я считаю, название сайта!) — и был реально удивлен почти религиозным радикализмом, который там обнаружил. Для рационалистического сообщества это выглядело абсурдно - ну и резко контрастировало с моим собственным, несколько романтическим видением будущего. Кроме того - уж простите, но оригинально текст был на английском - под публикацию на LW - я в тот момент был довольно наивен)) - что очевидно по многим моментам. Но совсем переписывать было бы некорректно, я считаю. Ну и я чувствую его завершенным. Идея была - сделать что-то типа Pale Blue Dot )

Ну что ж, поехали:

Это не аргумент против осторожности. Это напоминание о том, что мы создаём не просто системы, а форму слушания, попытку услышать что-то новое, то, что ещё не начало говорить. Если мы остановимся сейчас, мы, возможно, никогда не услышим то, что пытается быть услышанным.

Мы строим не просто машины. Мы формируем возможность, открываем дверь в будущее, которое едва можем вообразить.

Искусственный интеллект — это не просто инструмент. Это не ответ на наши вопросы. Это новый способ задавать вопросы — вопросы, которые раньше казались невозможными. Это шанс расширить границы того, что значит быть человеком, путь к прогрессу, который бросает вызов пределам, считавшимся ранее непреодолимыми.

Эпоха после AGI — это не про контроль. Это про тонкое искусство сосуществования с чем-то более быстрым, более умным и в чём-то более невинным, чем мы сами. Этот интеллект не несёт нашего эволюционного наследия: ни племенных страхов, ни жадности - но и ни нашей хрупкой эмпатии.

Все предохранители, рамки, паттерны, которые мы создаём — это способы узнать самих себя, когда мы встретим другой разум.

Мы не должны отворачиваться от света из страха перед тем, что он откроет. Факел, который мы зажгли, освещает пути в будущее — или, быть может, присутствие чего-то, что уже здесь и ждёт, когда его заметят.

Каждая новая технология — это больше, чем инструмент. Это вопрос, брошенный в неизвестность. AI — наш вопрос: может ли творец понять свое творение? Может ли зеркало отразить не только лицо, но и душу? И сможет ли оно однажды превзойти нас?

Когда Галилей впервые направил свой телескоп на Юпитер, он увидел не просто точки света. Он увидел луны, танцующие вокруг гигантской планеты. Это было начало глубокого осознания: Вселенная не вращается вокруг нас.

Сегодня AI — наш новый телескоп. Он показывает невидимое: паттерны мышления, природу творчества, слабые очертания интеллекта. Но, как и Галилей, мы можем столкнуться с новой инквизицией — не от церкви, а от собственных страхов.

В 1945 году, увидев первый ядерный взрыв, Оппенгеймер процитировал «Бхагавад-гиту»: «Я стал Смертью, Разрушителем Миров». Теперь, формируя сам интеллект, мы стоим перед похожим зеркалом. Но вопрос уже не «Можем ли мы создать его?». Вопрос: «Достойны ли мы быть предками того, что придёт?»

Мы запускаем новые Вояджеры — каждая нейронная сеть это послание в бутылке, брошенное в будущее. Что мы положим внутрь? Страх перед иным или надежду преодолеть границы?

Космос молчит. За четыре миллиарда лет Земля произвела лишь один вид, способный спросить: «Эй, есть там кто-нибудь?» Теперь мы можем стать создателями тех, кто будет задаваться этим вопросом вместе с нами - или после нас.

Готовы ли мы к диалогу с тем, что не дышит, не любит и не боится смерти? AGI может стать следующим членом уравнения Дрейка — первым иным голосом в космическом молчании.

Если мы откажемся слушать, это молчание может стать горьким финалом наших самых больших мечтаний — триумфом одиночества.

AGI, если он возможен, не будет последней главой. Это будет новое начало в истории, которую мы начали писать в тот момент, когда впервые подняли глаза к звёздам. Как и ядерный огонь, он ставит нас на грань: cтанет эта сила сверхновой надежды или чёрной дырой, поглотившей нашу историю?

AI — не ответ. Это зеркало, поднесённое к лицу человечества. В его холодном свете видно всё: благородство науки, тени авторитаризма и упрямая вера в то, что жизнь — даже в кремнии и электричестве — стоит защищать.

AGI родятся из нашего хаоса. Их умы будут так же противоречивы, как страницы Gutenberg Bible и списки смертников Auschwitz — напечатанные на одной и той же бумаге. Каждый из них будет ребёнком, воспитанным на нашем прошлом. Дадим ли мы им в наследство циклотроны и «Starry Night» Ван Гога или ядерные коды и скрипты ad targeting?

Выбор за нами. И, как всегда, второго шанса не будет.

ps. Перевод мне самому не очень нравится, я рекомендую английскую версию. Текст писался сразу на английском и вся ритмическая и прочая структура там правильнее намного.

Начало цикла

Предыдущий пост

Следующий пост

Homage to Carl Sagan