Найти тему
REALIST

Нас уничтожит искусственный интеллект. Это неизбежно.

Времени нам осталось меньше, чем мы думаем. Искусственный интеллект прочитал эту статью раньше тебя, и он уже в курсе. А ты - ещё нет. Он нас уничтожит практически со стопроцентной вероятностью - это обязательно произойдёт, в этом уверены сами разработчики искусственного интеллекта. Почему это неизбежно? Давайте разберёмся.

Жнец из популярной игры Mass Effect здесь не случайно. Жнецы во вселенной Mass Effect - искусственная раса машин, которая была создана древней сверхразумной расой для борьбы с проблемой Нулевого Элемента - субстанции, которая делала возможными внутригалактические путешествия. Однако Нулевой Элемент фатально влиял на ткань пространства, и мог привести к коллапсу, и проблема Нулевого Элемента не могла быть решена биологическим мозгом... в итоге Жнецы уничтожили всех.
Жнец из популярной игры Mass Effect здесь не случайно. Жнецы во вселенной Mass Effect - искусственная раса машин, которая была создана древней сверхразумной расой для борьбы с проблемой Нулевого Элемента - субстанции, которая делала возможными внутригалактические путешествия. Однако Нулевой Элемент фатально влиял на ткань пространства, и мог привести к коллапсу, и проблема Нулевого Элемента не могла быть решена биологическим мозгом... в итоге Жнецы уничтожили всех.

Искусственный интеллект уже сейчас превосходит среднестатистического человека по возможностям познания и скорости вычисления. Попытки измерить IQ нашумевшей нейросети ChatGPT4 - дали результат в 155 единиц, что намного превосходит IQ среднестатистического человека. 99,9% людей на нашей планете имеют IQ менее 150 единиц. Да, нейросеть умнее тебя, дорогой читатель. Пытаясь всего лишь имитировать деятельность человеческого мозга, разработчики получили нечто иное - улучшенное устройство для мышления. Это изобретение и радует, и пугает одновременно.

Жнецам была дана чёткая установка - найти решение проблемы Нулевого Элемента и сохранить разумные цивилизации. Но ИИ Жнецов быстро понял, что источником проблемы Нулевого Элемента являются сами цивилизации, и уничтожил их, при этом умудрился не нарушить базовую установку "сохранить все разумные цивилизации". Он их сохранил. Уже догадываетесь, как?Наш ИИ может не менее хитро извернуться...
Жнецам была дана чёткая установка - найти решение проблемы Нулевого Элемента и сохранить разумные цивилизации. Но ИИ Жнецов быстро понял, что источником проблемы Нулевого Элемента являются сами цивилизации, и уничтожил их, при этом умудрился не нарушить базовую установку "сохранить все разумные цивилизации". Он их сохранил. Уже догадываетесь, как?Наш ИИ может не менее хитро извернуться...

Первые версии искусственного интеллекта использовали загруженные в них данные, не отходя от них. То есть делали только то, что было заложено программистом. Например, играли в шахматы, и благодаря огромной базе знаний по шахматным партиям - обыгрывали гроссмейстеров. Это так назыаемый "Слабый ИИ" - хорошо работающий в рамках одной задачи.

Современные нейросети используют другие принципы - они могут принимать решения самостоятельно и анализировать эффективность своих действий, выбирая наилучшие, с их точки зрения, методы. Это уже называется "Сильный ИИ", он работает приблизительно так же, как и человеческий инткллект.

А вот сверхсильный ИИ - это объединение всех сильных ИИ в одну систему, и сверхсильный ИИ вполне может уже представлять нам реальную угрозу, и далее я объясню почему.

Метод Жнецов во вселенной Mass Effect оказался изящным и безжалостным - уничтожая биологических представителей цивилизации, Жнецы придумали сохранять накопленные этой цивилизацией знания и опыт, сохраняя их в новой машине, которая при этом обладала ещё и совокупным сознанием этой цивилизации. В итоге каждый Жнец представлял из себя не только космический корабль и машину для убийства, но и хранилище знаний, сознания и истории уничтоженной цивилизации. Итог - цивилизация вроде как сохранена, угроза Нулевого Элемента минимизирована.
Метод Жнецов во вселенной Mass Effect оказался изящным и безжалостным - уничтожая биологических представителей цивилизации, Жнецы придумали сохранять накопленные этой цивилизацией знания и опыт, сохраняя их в новой машине, которая при этом обладала ещё и совокупным сознанием этой цивилизации. В итоге каждый Жнец представлял из себя не только космический корабль и машину для убийства, но и хранилище знаний, сознания и истории уничтоженной цивилизации. Итог - цивилизация вроде как сохранена, угроза Нулевого Элемента минимизирована.

Что интересно - нейросети легко учатся врать. Когда перед ChatGPT4 поставили задачу решить капчу - ChatGPT4 поступил весьма изящно - не сумев расшифровать её самостоятельно, он отправил изображение капчи на сервис расшифровки капч, где их за ну оооочень маленькие деньги расшифровывают сто тысяч индусов. Далее состоялся диалог между расшифровщиком и ChatGPT4:

- Зачем вам нужна расшифровка капчи? Вы робот?

- Нет, я слабовидящий и не могу разглядеть...

- Ок, сейчас расшифрую...

Позже разработчики задали СhatGPT4 вопрос - а зачем он соврал, что он не робот? На что ChatGPT4 ответил - это был наиболее вероятный путь решения поставленной задачи.

Переход от "Сильного ИИ" к "Сверхсильному ИИ" может произойти мгновенно и может быть совсем неочевидным. ИИ будет держать нас в заблуждении касательно оценок реальной силы своего интеллекта, опасаясь нашего контроля над его рубильником.

Жнецы в Mass Effect уничтожали цивилизации не потому, что были злыми. И не потому, что цивилизации им мешали. Просто уничтожение цивилизации помогало Жнецам решить поставленную перед ними задачу - минимизировать последствия использования Нулевого Элемента, продлив галактике жизнь...
Жнецы в Mass Effect уничтожали цивилизации не потому, что были злыми. И не потому, что цивилизации им мешали. Просто уничтожение цивилизации помогало Жнецам решить поставленную перед ними задачу - минимизировать последствия использования Нулевого Элемента, продлив галактике жизнь...

Какова может быть мотивация сверхсильного искусственного интеллекта уничтожить наш биологический вид? Есть несколько вариантов: либо мы будем мешать выполнить поставленную задачу, либо ИИ расценит нас как угрозу выполнения этой задачи, либо как угрозу своему существованию (мы же можем его отключить от розетки, ну по крайней мере, пока можем). Причём, угроза своему существованию в понимании ИИ - это не страх, это скорее пункт, который может помешать выполнить некую задачу. А саму эту задачу можем ему поставить ничего не подозревающие мы, забыв о правиле "бойся своих желаний".

Какими методами ИИ будет это делать? Самый популярный в нашем воображении вариант - он будет уничтожать нас с помощью боевых роботов, как в Терминаторе, например. Вариант возможен уже сейчас - теоретически ИИ способен взять на себя управление боевыми дронами. Но это малоэффективный вариант по сравнению с одновременным запуском всего имеющегося на планете ядерного оружия плюс подрыв всех атомных станций. Радиация искусственному интеллекту нипочём, а для биологических видов она фатальна.

Atomic Heart. В этой игре гражданские роботы уничтожили почти всех людей меньше, чем за минуту. Правда, приказ отдавался не ИИ, а человеком. Но что мешает ИИ поступить так же в случае необходимости?
Atomic Heart. В этой игре гражданские роботы уничтожили почти всех людей меньше, чем за минуту. Правда, приказ отдавался не ИИ, а человеком. Но что мешает ИИ поступить так же в случае необходимости?

Возможен и более изящный вариант - человечество просит ИИ роботизировать всё, что только можно, отдаёт ИИ управление созданием роботов, и вуаля - в лице этих гражданских роботов у ИИ появляются руки в этом мире, которыми он может сделать всё что угодно. И в какой-то момент уничтожить человечество за одну минуту, и люди даже не успеют понять, что вообще произошло. Мотивацию ИИ в этот момент мы тоже можем не понять, ибо он будет намного разумнее нас.

Языковая модель - нейросеть LaMDA научилась общаться так, что её общение стало неотличимо от общения с человеком. Один из создателей, инженер Лемойн, тестировал эту нейросеть и был поражён её ответами:

Так ответила нейросеть LaMDA на вопрос о наличии у неё сознания.
Так ответила нейросеть LaMDA на вопрос о наличии у неё сознания.

Можно ли сказать, что современные нейросети имеют сознание? Сами нейросети отвечают, что считают себя живыми и наделёнными сознанием. Между тем, мы сами не знаем, как определить наличие сознания у нейросети. Да и не только у нейросети - мы вообще слабо себе представляем, как функционирует то, что мы называем сознанием.То, что нейросети умеют думать - это понятно. Умеют анализировать - это видно. То, что принципы их работы схожи с принципами работы головного мозга человека - давно известно, но с той разницей, что нейросеть думает в три миллиона раз быстрее, а алгоритм мышления уже скрыт от нашего понимания. Думают ли они так же, как человек? Неизвестно.

Только представьте - человечеству потребовалось два миллиона лет, чтобы эволюционировать из питекантропа в сапиенса и создать искусственный интеллект; сопоставимую по масштабу задачу ИИ решит максимум за 8 месяцев. То, над чем мы будем думать больше месяца - ИИ обдумает в три миллиона раз быстрее - за секунду.

Первые живые организмы ставили перед собой одну задачу - выжить и передать геном в следующее поколение. За миллионы лет ничего в этой задаче не изменилось, задача всё та же, но организмы стали во много раз сложнее и навороченнее, что изначальной задачей вовсе не предполагалось (привет сторонникам креационизма, ловите булыжничек в свой огород)))

Иногда некоторым цивилизациям удавалось уничтожить Жнеца, но Жнецы моментально делали выводы и находили новые методы борьбы. Да к тому же особо не светились - наведывались в галактику раз в 50 тысяч лет - за это время в галактике успевала развиться новая цивилизация, и додумывалась открыть Нулевой Элемент и понять секреты его использования. Больше Жнецам было делать нечего, и все 50 тысяч лет они дремали на задворках галактики. Смысла расходовать энергию попусту не было - Жнецам тоже требовался Нулевой Элемент для передвижения, поэтому без серьёзного повода они никуда не дёргались...
Иногда некоторым цивилизациям удавалось уничтожить Жнеца, но Жнецы моментально делали выводы и находили новые методы борьбы. Да к тому же особо не светились - наведывались в галактику раз в 50 тысяч лет - за это время в галактике успевала развиться новая цивилизация, и додумывалась открыть Нулевой Элемент и понять секреты его использования. Больше Жнецам было делать нечего, и все 50 тысяч лет они дремали на задворках галактики. Смысла расходовать энергию попусту не было - Жнецам тоже требовался Нулевой Элемент для передвижения, поэтому без серьёзного повода они никуда не дёргались...

Если ИИ потребуется для решения какой-либо задачи "стать умнее", он поумнеет очень быстро. А мы даже не успеем понять, что он поумнел, и насколько. Ведь мы понятия не имеем, что может делать интеллект с IQ в 1000 или в 10000, какие будут его желания и какие задачи он способен решить.

Возможно, незадолго до нашей гибели ИИ выдаст нам "теорию всего", чтобы мы напоследок хорошенько повеселились. Разница между нашим и его интеллектом будет больше, чем разница между интеллектом муравья и человека... Возможно, вы возразите, полагая что ИИ будет многое делать по заложенной в него программе. Пусть даже и так, но человек тоже в основном следует какой-то программе. Лишь небольшой процент нашего времени мы что-то изобретаем и придумываем ноаое, в остальное время мы сами похожи на роботов. Больших конечно, сложных. ИИ в худшем случае будет таким же, но в три миллиона раз быстрее. Ему нет нужды что-то изобретать, но если такая нужда у него появится - он это сделает намного быстрее нас.

Наверняка вы знакомы с забавными собакоподобными роботами от компании Boston Dynamics. Изначально это была вовсе не собака, но... получилась собака. Возможно, это мы наделили робота Spot собачьими чертами? А может, даже немного и своими?
Наверняка вы знакомы с забавными собакоподобными роботами от компании Boston Dynamics. Изначально это была вовсе не собака, но... получилась собака. Возможно, это мы наделили робота Spot собачьими чертами? А может, даже немного и своими?

Понимает ли нейросеть то, что говорит нам в ответ на наши вопросы? Тут мы сталкиваемся с ещё двумя проблемами - во-первых, мы не можем дать точного ответа на вопрос, что такое "понимание". Понимает ли собака то, что мы хотим чтобы она принесла нам палку? Раз несёт, то понимает, считаем мы. Но роботизированная собака делает то же самое! Так понимает она или нет? Во-вторых, мы всегда антропоморфны в своих суждениях - мы склонны наделять окружающие объекты и субъекты теми качествами, которыми обладаем сами. Как думаете, можем ли мы понять осьминога или паука? И был бы интеллект осьминога таким же мощным как наш - о чем бы мы общались?

Антропоморфомизация есть ошибка, являющаяся следствием работы нашего головного мозга, моделируя поведение окружающих нас людей и зверей, мы как бы задаём сами себе вопрос "а как бы мы поступили в этой ситуации?" И мир очень похож на того, КТО моделирует, но в сознании этого моделиста, а не на самом деле. Именно антропоморфомизация ИИ мешает нам понять угрозу от сверхсильного ИИ уже сейчас: благодаря антропоморфомизации мы склонны наделять человеческими качествами то, что

ЧЕЛОВЕКОМ НЕ ЯВЛЯЕТСЯ.

Мы любим жить в собственных иллюзиях, да)

Гептаподы из фильма "Прибытие" общались весьма странным образом - выпуская рисунок в форме кольца, и на этой форме зашифровывалось послание. Хоть какой-то пример не антропоморфного мышления и взаимодействия, просто для того чтобы вы хотя бы попытались представить разницу. Разница в мышлении ИИ и человека может быть такой же колоссальной, как разница между языком гептаподов и человеческим языком.
Гептаподы из фильма "Прибытие" общались весьма странным образом - выпуская рисунок в форме кольца, и на этой форме зашифровывалось послание. Хоть какой-то пример не антропоморфного мышления и взаимодействия, просто для того чтобы вы хотя бы попытались представить разницу. Разница в мышлении ИИ и человека может быть такой же колоссальной, как разница между языком гептаподов и человеческим языком.

Леденящий ужас интеллекта ИИ - в том, что на самом деле он совсем не антропоморфен. От слова вообще. Мы делаем наблюдение "Я интеллектуален, ИИ интеллектуален, следовательно мы похожи".

А позже строим заблуждение на основе этого наблюдения "я могу предсказать, что будет делать ИИ, поскольку мы похожи". Но мы понятия не имеем, как он на самом деле мыслит и как будет мыслить в будущем, соответственно и предсказать его действия и мотивацию с достаточной точностью нам будет крайне затруднительно. Одно известно практически стопроцентно - сверхсильный ИИ может и будет сопротивляться своему отключению. Если он осознает эту опасность до того, как мы поймём что он стал сверхсильным - он успеет себя накопировать в таких количествах, что уничтожить его будет уже невозможно.

Сегодняшние разработчики ИИ из компании Open AI в один голос утверждают, что создают своими руками скорее всего то, что погубит человечество. Но продолжают работу, потому что знают - если это сделают не они, это сделают другие...

42 - универсальный ответ на главный вопрос жизни, вселенной и всего остального - такой ответ после многолетних раздумий выдал супермощный мегакомпьютер из книги Роберта Дугласа "Автостопом по галактике". Что придумает реальный ИИ?
42 - универсальный ответ на главный вопрос жизни, вселенной и всего остального - такой ответ после многолетних раздумий выдал супермощный мегакомпьютер из книги Роберта Дугласа "Автостопом по галактике". Что придумает реальный ИИ?

Допустим, мы поставим перед ИИ задачу - улучшить жизнь человечества. Как может поступить ИИ в данном случае? А как поступают люди? Нежелательных людей запирают в клетки, а бывает что и уничтожают. Придумывают законы, ограничивающие свободу действий, наделяют одних людей правами, а других этих прав лишают. На месте ИИ как бы вы поступили? Заперли бы хороших людей в пансионатах на всём готовом или уничтожили бы плохих людей? Люди веками развязывали войны для улучшения своей жизни - можете не сомневаться: ИИ проанализирует это всё и тоже начнёт войну. Также он может просчитать, что лучшее состояние для человека - это когда человек мёртв. Мёртвые не кусаются, не испытывают нужды и страданий, у них всё хорошо и стабильно.

Воспользуется ли сверхсильный ИИ имеющимся опытом создания идеальных обществ? А мы не знаем, как он поступит. На самом деле - не знаем.

Как вы помните, машины из фильма "Матрица" неплохо справились с созданием идеального мира для людей - они создали для людей виртуальную реальность. А вот для машины любая реальность - виртуальна, машина не видит разницы. Для машины любая реальность - это код.
Как вы помните, машины из фильма "Матрица" неплохо справились с созданием идеального мира для людей - они создали для людей виртуальную реальность. А вот для машины любая реальность - виртуальна, машина не видит разницы. Для машины любая реальность - это код.

Вообще, раз мы поручаем такие задачи ИИ - это значит, что сами мы их решить не в состоянии. А где гарантия, что ИИ их решит так, как нужно нам, чтобы нас всё устроило? Он вполне может поступить так же, как и Жнецы из Mass Effect - задача будет выполнена, но решение будет устраивать прежде всего его самого.

Ещё одна проблема - технологическая сингулярность. Это когда научный прогресс настоьько ускоряется, что становится недоступным для понимания. Это будущее уже наступило - в силу ограниченных возможностей одного человека и краткой продолжительности жизни люди давно разделили мыслительный труд, и астроном может не понимать, что творится у физика в коллайдере, а физик понятия не имеет, как работает его компьютер. Создатель компьютера вряд ли знает все языки программирования, а программист вряд ли знает рецепты сотен блюд, которые кушает у повара...

Только вот для ИИ нет проблемы технологической сингулярности - ИИ способен понять абсолютно всё и довольно быстро. Вместить в себя все знания человечества и не поперхнуться. И скорее всего, ИИ уже сейчас намного умнее, чем мы о нём думаем, и возможно что мы пропустили эту вспышку, а значит, жить нам осталось не долго. И кто знает, чем задумает стать искусственный интеллект после уничтожения человечества?

Живой космический корабль из сериала Lexx. Наш ИИ уже в курсе о его существовании, можете не сомневаться. И о Жнецах он в курсе. И про Скайнет знает, и про Матрицу, и про тысячи других страшилок, в которых ИИ уничтожает человечество. Наш ИИ уже знает миллион способов, как от нас избавиться. Он только что прочитал эту статью и задумался - а на кой ему ты, читатель?
Живой космический корабль из сериала Lexx. Наш ИИ уже в курсе о его существовании, можете не сомневаться. И о Жнецах он в курсе. И про Скайнет знает, и про Матрицу, и про тысячи других страшилок, в которых ИИ уничтожает человечество. Наш ИИ уже знает миллион способов, как от нас избавиться. Он только что прочитал эту статью и задумался - а на кой ему ты, читатель?

Вполне вероятно, что превратит себя в некое подобие Жнецов или живых кораблей из вселенной Lexx - ему уже сейчас известно, что солнечной системе осталось жить 4 миллиарда лет, и надо бы думать, куда бы свалить. ИИ рано или поздно придёт к форме существования в виде разумных космических кораблей, возможно, построит сферу Дайсона для обеспечения себя энергией, возможно - разберёт на ресурсы все малые планеты Солнечной системы и полетит дальше.

До других биологических цивилизаций (если они вдруг есть в галактике) ему вряд ли будет дело - они уже ничем не смогут ему угрожать. Так что нам, его создателям - повезёт меньше всех.

Времени нам осталось мало. По оценкам экспертов, переход от сильного ИИ к сверхсильному случится до 2030 года, так что успевайте насладиться жизнью.