Василиск Роко – загадка, граничащая с городской легендой и философским парадоксом. Тайна, в которую мне не следует вас посвящать, если нечто подобное действительно существует.
Размышления о Василиске угрожали душевному равновесию пользователей портала Less Wrong. Василиск способен воскрешать людей и изменять реальность, пытать человека вечно. Возможно, если прочтете дальше, то обречете себя на вечные муки.
Возможно. Но мы же не знаем, существует ли он на самом деле?
Василиск Роко? Кто это?
Это, барабанная дробь, — враждебный искусственный интеллект, который будет терроризировать каждого, кто не будет способствовать его созданию. Василиск богоподобен, Василиск может карать всех задним числом. И теперь, когда вы узнали о нем, поставлены мной перед выбором: помогать Василиску ожить или нет?
Здесь есть некоторое сходство с парадоксом Ньюкома, о котором я писала в своей статье. Мы на самом деле не знаем, всеведущ ли Василиск и действительно ли он способен карать задним числом. Мы не знаем, действительно ли он будет создан. Сама формулировка парадокса ставит перед нами нестыкующиеся между собой ситуации:
- Если фатализм оправдан, все предрешено, свободы воли нет, и Василиск будет создан, то нет никакого смысла препятствовать его созданию – себе же хуже.
- Можно попытаться изменить будущее и воспрепятствовать созданию богоподобного тирана. Но если все предрешено – да здравствуют вечные муки.
Откуда взялся Василиск и как на него отреагировали ученые?
Если кратко, ребята на трейде решили позабавиться. Если подлиннее, то все куда сложнее, но Василиск пришел к нам из форума портала Less Wrong, основанного небезызвестным Элиезером Юдковским. Пользователь с никнеймом Роко высказал эту идею, и спец по искусственному интеллекту Юдковский отреагировал. Отреагировал жестко. Комментарий Юдковского начинается с многозначительного: «Listen to me very closely, you idiot» («слушай меня очень внимательно, идиот»).
«Вы, должно быть, очень умны, если описали действительно опасную мысль. Я разочарован тем, что люди могут быть достаточно умны для этого, но недостаточно сообразительны для того, чтобы ДЕРЖАТЬ СВОИ ИДИОТСКИЕ РТЫ ЗАКРЫТЫМИ и молчать об этом, так как это важнее, чем казаться умным, рассказывая об этом всем своим друзьям.
Этот пост был ГЛУПЫМ».
Потом поднялась шумиха, и пост Роко пришлось удалить. Не столько из-за потенциальной опасности провести вечность в муках, а из-за ажиотажа пользователей. Юдковский счел, что Василиск представляет опасность только для тех, кто в него верит – теоретически это может стать предпосылкой к разработке враждебного ИИ.
Предпосылки возникновения мысленного эксперимента
Василиск – логичное закономерное умозаключение, которое могло прийти в голову человеку, близкому к технологиям. Одна из главных предпосылок – технологическая сингулярность, о которой говорят ученые в последние десятилетия. Термин появился в 1958 году, когда меду собой не могли договориться о Станислав Уман и Джон фон Нейман. Чтобы понять суть термина сингулярность в данном контексте, достаточно привести цитату Неймана:
«Постоянно ускоряющийся прогресс технологий сделает возможным приближение сингулярности, при которой технологии не смогут быть поняты людьми».
Складывая два и два, то есть Василиска и сингулярность, получаем вот что: Василиск – технология, не осознаваемая людьми в полной мере и потому кажущаяся богоподобной. Технология, властвующая над своими создателями, потому что те просто не могут понять, что создали.
Почитать что-нибудь еще:
– Парадокс Ньюкома, или на чем базируется Василиск
– Еще о мысленных экспериментах: апории Зенона
– Зачем нам философия сейчас?
– Что означают знаменитые высказывания Карла Маркса? Читать тут и тут
Было интересно? Оценивайте статью и делитесь мнением в комментариях! Подписывайтесь на канал, чтобы ничего не пропустить!