Не читайте эту статью

Два раза “ку”, мои малиновые штаны. НМ предупреждал вас не читать данную статью. У вас ещё есть шанс. В смысле, серьёзно. Речь пойдёт об одном из гипотетических демонов, который общество занесло в категорию “вещи, которые лучше не знать”. Иногда его используют для того, чтобы продемонстрировать понятие “экзистенциальный ужас” на практике. И НМ взялся написать об этой штуке статью. Кафедра Бакланологии и Прикладной Долбодятлистики в ужасе. НМ - нет.

О чём, вообще, пойдёт речь?

Василиск Роко — мысленный эксперимент. Предположим, в будущем появится богоподобный искусственный интеллект, намеренный вечно карать всех, кто не выполняет его приказы. Достаточно просто нежелания это делать — и вы его враг, пусть даже вы умрете задолго до его создания. При этом он воспроизводит в симулируемой им вселенной сознание тех людей, кто негативно к нему относился в сколь угодно отдалённом прошлом, и уже эту симуляцию подвергает бесконечным пыткам. Вы хотите, чтобы этот ИИ появился? Только честно. Нет? А что, если василиск Роко всё-таки появится? А что, если он уже был создан в реальном мире, а вы И ЕСТЬ компьютерная симуляция человека, жившего веками ранее, а значит, обречены? А если не хотите участи хуже смерти, значит, вам надо работать, чтобы этот монстр всё-таки появился?

М-м-м… обожаю ложные моральные дилеммы. А вы? Если что, я даже старательно погуглил различные интерпретации этого эксперимента, в том числе и изначальную, классическую форму.

И вот, когда я этим занялся, вся мифическая жуть Василиска Роко начала разваливаться на части. Господин Юдковски, на платформе которого впервые появилась формулировка этого мысленного эксперимента, пришёл в такой ужас, что даже запретил упоминать Василиска. Причём, в грубой форме, включавшей оскорбление человека, который не может “ДЕРЖАТЬ СВОЙ ДУРАЦКИЙ ЯЗЫК ЗА ЗУБАМИ”.

Василиск Роко уже породил множество дочерних мысленных демонов, и абсолютно все они у НМа вызывают одну реакцию. “И чо?” В смысле, если всё, что могут эти демоны, в случае, если мы не дожили до их создания, это терзать наши компьютерные копии? Если я настоящий, мне плевать на то, что случится с компьютерной копией. Если я не настоящий, моя судьба предрешена, а, значит, мне снова плевать. В обоих случаях моя суета ни на что не влияет, ведь я ни разу Василиска не видел.

Неизвестность пугает больше

Чем больше Василиск Роко конкретизируется, тем менее страшным он становится. Ей богу, христианский Бог по Библии и тот страшнее. Каждый из нас с вами уже нагрешил на вечные муки в Аду. И кого из нас это, вообще, беспокоит?

Более того, исходя из формулировок, выходит, что если НЕ ЗНАТЬ о том, что такое Василиск, и чем он может быть опасен, ты, вроде как, становишься застрахован от его кары. Спасибо, Елиезер Юдковски, что ты пытался спасти нас от кары новой итерации Атомного Манипулятора, но сама идея того, что это может сработать, опирается на ложные предпосылки.

Это предопределено: если предположить, что Юдковски просто хотел, чтобы люди не сходили с ума от осознания, что они виртуальная проекция, которая обречена на кару Василиска, то получается, что Юдковски просто дурак. Ведь это была бы ситуация из разряда “сама придумала - сама обиделась”. А я читал Юдковски. Это не в его стиле. Так что, скорей, тут вопрос обратной причинности, который сам по себе крайне сложен.

Если уж говорить об обратной причинности, то почему мы забываем о причинности прямой? В смысле, с чего мы, вообще, решили, что богоподобный ИИ будет злонамеренным? Потому что всем человечкам нравится мучать компьютерных болванчиков, и компьютер будет создан по их образу и подобию? Так это бред. Мне, например, мучать компьютерных болванчиков разом и скучно, и стыдно. Ну не атрофировалась у меня эмпатия.

Василиск? Можно просто “Вася”.

Да и какой ему, вообще, смысл тратить такую кучу ресурсов на создание достоверной симуляции? Для понятия того, насколько это сложно, просто оцените: учёные подсчитали, что для достоверной симуляции поведения всего десяти элементарных частиц потребуется больше атомов, чем есть во вселенной. Даже если предположить, что богоподобный ИИ будет работать на квантовом суперкомпьютере (а на каком, чёрт возьми, ещё, если он богоподобен), для него это, всё равно, огромная трата сил.

Ровно как и идея отдавать человеку приказы. Кроме шуток… нахрена? Он долбанный Атомный Манипулятор Новой Эры. Если ему что-то надо, он может просто взять и сделать это без какого-либо посредника. Если ему захочется избавиться от пыли на глазке камеры, ему будет проще взять, и уничтожить эту пыль на атомарном уровне, нежели просить об этом мясного человека, а, в случае невыполнения приказа, вечно его истязать. Это, буквально, менее экономно. А если ему, всё-таки, нужна помощь человека… то какой он, к лешему, богоподобный?

В итоге, Василиск Роко, буквально, НЕ может представлять то, что изначально стояло в условиях задачи. У него, буквально, НЕТ ни единой причины быть злонамеренным. Надеюсь теоретическому Василиску понравилось это моё непопулярное мнение...