Найти тему
Фаббинг

Меланхолия ИИ

Масштабы проблемы ИИ и создаваемую им меланхолию предвосхищались более полувека назад Норбертом Винером, пионером кибернетики. Винер был атеистом, но в God and Golem, Inc (1964) он предсказывает ряд обстоятельств ИИ, теологических и эсхатологических в их масштабе, с предчувствиями темного физического и метафизического риска.

Он заложил принцип, согласно которому системы самообучения в теории способны не только к непрограммированному обучению, но и к воспроизведению себя и развитию. Крайне важно, чтобы они независимо друг от друга относились к человеку. Винер считал, что риск, связанный с игрой в Бога, резко проявился в легенде 17-го века о пражском Големе, огромном, сознательном гуманоиде, сделанном из глины и оснащенном каббалистической магией для защиты евреев города. Голем по имени Йозеф вскоре раскрыл свой потенциал для бедствия. Когда его проинструктировали о том, что нужно поднять воду, он не смог остановить свою задачу и затопил дом (здесь есть предчувствия о шутке и вдумчивом эксперименте, в котором машина ИИ инструктируется делать скрепки и не может быть остановлена: в конце концов, она разрушает инфраструктуру планеты и уничтожает человеческий род). Голем поворачивается против тех самых людей, которых он должен был защищать, и убивает их.

Винер также подчеркнул способность самообучающихся машин играть в игры. Любые отношения, по его словам, сводятся к игре. Он рассматривал големский миф как игру, и расширил идею, чтобы предположить, что Книга Иова, наиболее меланхоличная из библейских историй, является еще одной архетипичной игрой: Бог и сатана соревнуются, чтобы завоевать душу страдающего пророка. Подобным образом Винер видит борьбу между Богом и сатаной в эпической поэме Джона Мильтона "Потерянный рай" (1667) как небесную игру: Сатана - падший архиепископ-меланхолик, вечно пораженный ранеными достоинствами, соревнующийся с Богом за обладание человечеством:

-2

Отвергнутый дьявол стоял,
И почувствовал, как ужасно хорошо, и увидел.
Добродетель в ее форме, как прекрасна - пила и тосковала.
Его потеря.

И эта игра когда-нибудь повторится, предсказал Винер, когда человек наткнется на конечную машину. За пятьдесят лет до этого Винер предсказал, что исследователи построят машину, чтобы победить человека-чемпиона самой сложной настольной игры, когда-либо придуманной. Но это было бы лишь прелюдией к гораздо большему расширению возможностей машин. Предлагая общий принцип кибернетики, Винер писал: "игровая машина может быть использована для обеспечения автоматического выполнения любой функции, если выполнение этой функции подчинено четкому, объективному критерию заслуг". Под понятием "четкий" он имел в виду определяемый в конечном числе слов или матриц. Со временем системы будут заниматься "войной и бизнесом", которые являются конфликтами, "и как таковые они могут быть настолько формализованы, что представляют собой игры с определенными правилами". Он мог бы включать в себя окружающую среду, продовольственную безопасность, развитие, дипломатию.

В заключение Винер высказал предположение, что формализованные версии сложных человеческих планов и решений уже создаются для того, чтобы "определить политику нажатия Большой кнопки и сожжения Земли для нового и менее зависимого от человека порядка вещей". Он намекал на вероятность того, что решение о ядерной войне будет инициировано самообучающейся машиной. Понятие автоматической машины Судного дня было драматизировано в том же году в фильме Стэнли Кубрика "Доктор Стренджлав" (1964). При всем своем пронизывающем юморе этот фильм глубоко мрачен, в нем доминирует отчаяние.

Go игроки говорят об особом "воображении" лучших игроков, таланте или способностях, которые дизайнеры DeepMind также претендуют на AlphaGo. Но в каком смысле машина может обладать воображением?

Ранний намек на "воображение" ИИ и его обоснование можно найти в статье, опубликованной в журнале Neuron за 2012 год: "Будущее памяти": Память, воображение и мозг" написана командой под руководством психолога Даниэля Шактера из Гарвардского университета. Статья якобы посвящена болезни Альцгеймера, и в ней утверждается, что страдающие теряют не только память, но и способность предвидеть будущие события и их последствия. В ней утверждалось, что воображение является ключом как к памяти, так и к дальновидности.