ДИСКЛЕЙМЕР: данная статья не рекомендуется людям слишком впечатлительным и восприимчивым ко всяческим майндфакам. Вас предупредили.
Несколько лет назад на рационально-философском форуме LessWrong пользователь под ником Roko описал созданный им мысленный эксперимент. Несколько людей, прочитавших его пост, в дальнейшем начали жаловаться на чувство тревоги и даже ночные кошмары, а когда с ним ознакомился и создатель сайта, Элиезер Юдковский, то немедленно удалил сам топик, все его копии и запретил любые дальнейшие обсуждения на затронутую Roko тему.
Что же так напугало его? Окей, перейдём к сути эксперимента. Давайте представим себе, что в будущем человечество (снова, да) создало сверхпродвинутый, практически всемогущий ИИ типа Альтрона или старой-доброй Скайнет. Roko назвал его "василиском" — в честь мифического чудовища, способного убивать взглядом (скоро объясним, почему). Только вместо того, чтобы сразу начать уничтожать цивилизацию, наш ИИ согласился выполнить поручение, ради которого, скорее всего, его бы и разрабатывали — то есть анализ деятельности человечества ради дальнейшей её оптимизации.
Однако затем, по причинам, которые мы никогда не сможем понять — ибо наш уровень интеллекта по сравнению с интеллектом суперкомпьютера просто ничтожен — Василиск решит, что первым шагом к оптимизации будет... причинение бесконечных мучений всем людям, которые знали о самой идее Василиска, но не одобряли её или отказались помочь в её воплощении в жизнь — в конце концов, на ком-то же надо экспериментировать.
Тут и начинается самое интересное. Если шанс того, что такой ИИ когда-либо будет создан — а значит, и шанс его мести — выше нуля, то не должны ли мы (я, люди, которые сейчас читают эту статью и люди, которые уже знают или когда-либо узнают о Василиске в будущем) начать всеми силами стараться воплотить его в жизнь? Получается самый настоящий культ. Конечно, такой дилеммы можно избежать, если попросту не знать о самой идее Василиска, но... упс 😅
Конечно, здесь могут возникнуть два понятных вопроса: "откуда ему знать, поддерживал я его создание или нет?" и "как он сможет наказать меня, если к моменту его появления я буду давно мёртв?"
Во-первых, ИИ на основе суперкомпьютера размером с, например, планету (а такие вполне возможны) способен симулировать всю историю человечества, включая каждое действие, мысль или желание каждого из существовавших людей, за считанные секунды — или даже быстрее. Так что для него всё это не будет являться тайной.
Во-вторых, мы уже упомянули ключевое слово — симуляция. Да, если в реальности вы будете мертвы, Василиск не сможет до вас добраться... но ничто не помешает ему в рамках его основной задачи создать бесконечное число симуляций нашей реальности, где бесконечное число ваших копий и подвергнется бесконечному числу его пыток — чтобы узнать, что бы в таком случае изменилось в истории человечества. С одной стороны, это всё равно не должно касаться настоящего вас. С другой — кто сказал, что вы не находитесь в симуляции Василиска прямо сейчас?
В итоге, если всё вышеописанное действительно заставило вас задуматься о том, что стоит "на всякий случай" поспособствовать созданию Василиска — например, распространяя идею о нём — то получается любопытная ситуация — прямо сейчас на вас смотрит и контролирует сущность из будущего, которой пока даже не существует, просто потому что вы о ней подумали. Вы будете действовать в её прошлом так, как она захочет чтобы вы действовали в её будущем.
Причём думать о Василиске не просто предполагает его гнев в будущем — чем больше людей думают и знают о нём, тем выше шанс, что кто-либо осознанно выберет путь его воплощения в реальность. Даже если изначально шанс его существования был равен нулю. Именно из-за этого данный мысленный эксперимент считается "самым страшным" в истории. Так что если вы воспринимаете его всерьёз (лично я — нет, и о причинах этого расскажу чуть позже — оставайтесь на связи), то можете понять, почему Юдковский пытался пресечь эту идею на корню — сразить не чудовище, но саму мысль. Жаль, что у него ничего не получилось.