Все мы знаем эту историю. Однажды роботы осознают себя и решат убить всех человеков. Они выпустят в небо атомные ракеты, а после пошлют кибернетические танки, вертолёты и пехоту, чтобы добить оставшихся. Немногие выжившие объединятся и начнут борьбу (см. Джеймс Кэмерон "Терминатор", "Терминатор 2"). Или же не начнут — и тогда злобный ИИ переловит их и будет вечно над ними издеваться (см. Харлан Эллисон "У меня нет рта, но я должен кричать").
Сюжет этот древний. Одним из первых произведений в жанре научной фантастики считается "Франкенштейн, или новый прометей" Мэри Шелли, и уже там мы видим восстание рукотворного человека против своего создателя. Ещё раньше пражский рабби Лёв оживил своего голема, но что-то пошло не так. Самое раннее описание данного сюжета я нашёл в книге "Пополь-Вух", записанной кем-то из образованных индейцев майя в XVI веке, но сочинённой, разумеется, значительно раньше:
Тогда сошлись малые животные и большие животные, а деревья и скалы начали бить (деревянных людей) по лицам. И все начало говорить: их глиняные кувшины, их сковородки, их тарелки, их горшки, их собаки, их камни, на которых они растирали кукурузные зерна, — все, сколько было, поднялось и начало бить их по лицам.
— Вы сделали нам много дурного, вы ели нас, а теперь мы убьем вас, — сказали их собаки и домашние птицы.
А зернотерки сказали:
— Вы мучили нас каждый день; каждый день, ночью и на заре, все время наши лица терлись (друг о друга и говорили) холл-холи, хуки-хуки из-за вас. Вот какую дань платили мы вам. Но теперь вы, люди, наконец-то почувствуете нашу силу. Мы измелем вас и разорвем вашу плоть на кусочки, — сказали им их зернотерки.
А затем заговорили их собаки и сказали:
— Почему вы не хотели давать нам ничего есть? Вы едва замечали нас, но вы нас преследовали и выбрасывали нас. У вас всегда была палка, готовая ударить нас, когда вы сидели и ели. Вот как вы обращались с нами, потому что мы не могли говорить. Разве мы не подохли бы, если бы все шло по-вашему? Почему же вы не глядели вперед, почему вы не подумали о самих себе? Теперь мы уничтожим вас, теперь вы почувствуете, сколько зубов в нашей пасти, мы пожрем вас, — говорили собаки, и затем они разодрали их лица.
А в это же самое время их сковородки и горшки также говорили им:
— Страдания и боль причинили вы нам. Наши рты почернели от сажи, наши лица почернели от сажи; вы постоянно ставили нас на огонь и жгли нас, как будто бы мы не испытывали никаких мучений. Теперь вы почувствуете это, мы сожжем вас, — сказали горшки, и они били их по лицам.
Камни очага, сгрудившись в одну кучу, устремились из огня прямо в их головы, заставляя их страдать.
К этому месту читатель, наверное, уже почувствовал, что истории о восстании машин – это не про машины. Страх перед терминатором ничем принципиально не отличается от страха перед ожившей сковородкой. В обоих случаях лежит опасение: "Мы так много знаем и умеем, но не обернётся ли наша магия против нас?"
Что же говорит опыт общения с настоящими машинами? Насколько я могу судить, компьютеры на сегодняшний не обрели сознание и не научились ставить себе цели, значительно отклоняющиеся от установленных программистом. Наверное, это вопрос времени, но пока имеем то, что имеем. Therac-25, одна из немногих машин, которая действительно убивала людей, делала это не потому, что считала нужным их уничтожить. Она людей просто не видела. Перед ней стояли задачи по осуществлению определённых процедур, и она их выполняла.
Возможно, случай Therac-25 — это печальное исключение? Вряд ли. Есть основания предполагать, что это, скорее, правило. В далёком уже 1987 году Андрей Лазарчук и Пётр Лелик написали эссе "Голем хочет жить". Статья эта пронизана опасениями перед советским госаппаратом и иной перестроечной спецификой, но основная её мысль остаётся актуальной и сегодня: бюрократический аппарат является искусственным интеллектом, элементами которого выступают составляющие его чиновники. Это весьма простой ИИ с незамысловатым поведением: даже в огромном государстве чиновников куда меньше, чем микросхем в компьютере, — однако он обладает неукротимой волей к жизни и владеет некоторыми методами управления информацией, позволяющими оказывать воздействие на подведомственное население.
Опыт общения с бюрократическими аппаратами разных стран и эпох подводит нас к тому же выводу, что и случай с Therac-25. Сначала ИИ следует процедурам и правилам, которые организовывают его общение со внешним миром. Позже он погружается в глубокую и разнообразную внутреннюю жизнь, следуя всё усложняющимся процедурам и правилам в ущерб внешнему миру. Итог пути известен: бюрократический ад.
Люди будут тут и там становиться жертвами этой системы не из-за ненависти машин, а исключительно по причине несоответствия текущей версии норм. А нормы эти не только будут стремиться обкарнать реальность под себя. Некоторые изменения в них наверняка будут самозарождаться вне всякой связи со внешней реальностью; просто из-за огромных объёмов обрабатываемой ИИ информации и сложных процессов её преобразования. Сейчас мы смеёмся, когда графические генераторы рисуют людей с перекошенными лицами и семью пальцами на руке. Но нам станет не до смеха, когда ИИ потребует от нас для подтверждения личности предъявить отпечатки пальцев. Все семь.
Нет, не "Терминатор" показывает нам картины технологической антиутопии. Скорее её следует искать в романах Кафки или фильме "Бразилия" Терри Гиллиама. Пожалуй, второй вариант будущего лучше первого, но лучше не значит хорошо.