Ведущий специалист в области регулирования ИИ утверждает, что пора обновить три закона робототехники.
Три закона робототехники Айзека Азимова (Isaac Asimov) являются, вероятно, самыми известными и влиятельными научно-фантастическими принципами политики в сфере информационных технологий. Этот выдающийся писатель предположил, что с ростом самостоятельности машин и их влияния на нашу жизнь мы должны ввести для них строгие правила, которые лишают их способности причинять нам вред. Азимов предложил свои законы ещё в 1942 году, когда был опубликован его первый рассказ из серии «Истории о роботах» («Robot stories»). Теперь, с появлением искусственного интеллекта, автоматизированного софта и промышленных роботов, опасности, исходящие от машин и их производителей, стали гораздо сложнее и актуальнее.
В провокационной и талантливо написанной книге «Новые законы робототехники: защита человеческих знаний в эпоху ИИ» (New Laws of Robotics: Defending Human Expertise in the Age of AI) профессор Бруклинской юридической школы (Brooklyn Law School) Фрэнк Паскуале (Frank Pasquale) предлагает добавить к трём принципам Азимова четыре новых. А исходные принципы были такими:
- Робот не должен причинять людям вред или позволять своим бездействием делать это.
- Роботы должны подчиняться приказам людей, но только тогда, когда приказ не нарушает Первый Закон.
- Робот должен заботиться о своей безопасности лишь в той мере, в какой это не противоречит двум другим законам.
Паскуале считает, что нам следует продвинуться гораздо дальше. Согласно его точке зрения, в дополнение к старым законам следует ввести четыре новых:
- Цифровые технологии должны «дополнять специалистов, а не заменять их».
- ИИ и роботизированные системы «не должны подменять человечество».
- Недопустимо использовать ИИ для усиления «гонки вооружений с нулевой суммой».
- Роботы и системы ИИ должны «указывать личности их создателей, операторов и владельцев».
Новые законы вытекают из утверждения Паскуале о том, что Кремниевая долина не должна единолично диктовать условия развития робототехники и ИИ, а также общественную роль этих технологий. По словам Паскуале, при соблюдении предложенных им законов роботы и ИИ будут не захватывать разного рода профессии, а обогащать их, особенно в секторах здравоохранения и образования. Однако, утверждает писатель, для того чтобы это произошло, формированию и демократизации результатов действия данных законов должны помочь директивные и регулирующие органы. Препятствовать, пишет Паскуале, «автоматизации, которая управляет судьбой ни в чём не повинных людей, делает их изгоями и обманывает, — жизненно важная роль регулирующих органов XXI века». «Наша задача — не просто всё больше и больше использовать ИИ, но и улучшать его».
Чтобы глубже осмыслить предложенные новые законы, сайт OneZero, связался с Паскуале и взял у него интервью о том, почему он решил обновить законы Азимова и ввести новые, а также о многом другом.
Канал «XX2 век» представляет вам перевод этого интервью.
. . .
OneZero: Почему вы сочли важным обновить три закона Азимова? И зачем в вашей книге подчёркнуто, что принятие этих решений о границах использования робототехники и ИИ необходимо демократизировать?
Фрэнк Паскуале: Законы Азимова посвящены тому, как не допустить, чтобы робот мог причинить человеку вред. И, на мой взгляд, эта тема, безусловно, очень важная. Однако, учитывая проблемы настоящего и будущего, которые необходимо решать уже сейчас, приходится констатировать, что предлагаемых решений недостаточно. Их нужно гораздо больше. Нам необходимо обеспечить прочный и демократизированный контроль человечества над развитием технологий.
Я думаю, что голубая мечта многих людей — сделать так, чтобы ИИ взял на себя работу врача, медсестры, журналиста, учителя и так далее. И, по-моему, это не та цель, к которой мы должны стремиться. Не так ли? Ещё важнее разобраться с тем, нужно ли нам вообще когда-либо ставить это во главу угла. Я думаю, нет. По мне, развитие разнообразных технологий должно быть нацелено на то, чтобы дополнять и поддерживать специалистов, а не заменять их.
Удастся ли перенаправить развитие ИИ в эту сторону и избавиться от представления о том, что «роботы должны делать за нас нашу работу»?
Я думаю, удастся. Я действительно так думаю. Возьмём медицину. 10 лет назад нередко приходилось слышать: «Берегитесь, врачи, на подходе роботы. Они отлично распознают паттерны, у них огромная база данных, и они заменят вас». И ещё: «Быть радиологом, анестезиологом, дерматологом и патологом — всё это требует всего лишь умения распознавать паттерны, и робот или ИИ с доступом к миллионам изображений здоровых и больных тканей будет делать эту работу намного лучше, чем вы».
Возникает вопрос: «Откуда берутся медицинские данные?» Их добывают люди. Возможно, что, в конце концов, получать данные сможет сама машина, но даже если и сможет, она не заменит человека. Конечно, она во многих отношениях дополняет его. Так и должно оставаться.
Вспомним о дерматологе. Даже если у вас есть компьютерное приложение, способное исследовать ваши родинки, вам всё равно захочется проконсультироваться с человеком-специалистом. Например, спросить его: «Какова вероятность ложноположительного или ложноотрицательного результата? Стоит ли эту родинку удалить или лучше оставить?» В таких случаях решение должны принимать люди.
Что лежит в основе каждого из ваших новых законов робототехники?
Они охватывают очень широкий круг проблем. Будь моя воля, я бы сделал так, чтобы спектр решаемых задач оказался не уже, чем во время «Нового курса», когда, без всяких преувеличений, за пару десятилетий был создан целый ряд агентств с законодательно закреплёнными уставами объёмом от пяти до ста или около того страниц. А затем агентства, такие как Комиссия по ценным бумагам и биржам, Федеральная комиссия по связи и другие, со временем дали конкретное содержание тому, о чём сказано в их уставах. Надеюсь, что-то подобное произойдёт и с новыми законами робототехники — появятся независимые агентства, которые будут уполномочены применять предложенные мной идеи.
Не могли бы вы привести пару конкретных примеров того, как некоторые из ваших законов будут работать на практике?
Конечно, могу. Возьмём первый из предложенных мной новых законов, требующий, чтобы специалисты и ИИ дополняли друг друга: робот не должен иметь сертификата учителя. Можно разрешить роботу или ИИ играть роль рекомендуемой учителем технологии, подобно тому, как врач назначает лекарства, но нельзя стремиться к тому, чтобы ИИ единолично контролировал и курировал учителей или некоторые комбинации онлайн-лекций. Нельзя стремиться к тому, чтобы он полностью заменил учителей. Вот как действует закон дополнительности.
Второй новый закон, о запрете «подменять человечество», требует, например, чтобы любой бот, который находится в сети, был чётко маркирован как таковой. Тут тесная связь с четвёртым из новых законов, который говорит об атрибуции: он [бот] должен быть приписан к определённому человеку. Данный пример с ботом годится и для иллюстрации третьего нового закона робототехники. Люди, чтобы привлечь внимание пользователей интернета к своему контенту, всё чаще применяют ботов, и, опираясь на третий закон, мы могли бы принять некоторые законодательные или административные меры, чтобы остановить эту гонку вооружений, в ходе которой за внимание пользователей борются боты.
Ваш третий новый закон противодействует тому, чтобы роботы взвинчивали гонку вооружений. Здесь речь не только о военных вопросах, не так ли?
Да, это так. На мой взгляд, во многих сферах нашей жизни нами управляют технологии. При этом крупные ИТ-компании используют ИИ, чтобы получать прибыль путём принуждения людей к участию в крысиных бегах, где нужно расталкивать друг друга. На протяжении многих лет я не раз писал о рейтингах и ранжировании, и, насколько я знаю, кредитный скоринг — один из первых примеров таких гонок. А с алгоритмическим кредитованием они становятся ещё интенсивнее. Вот увидите: всё больше и больше кредиторов, использующих ИИ, будут говорить клиентам так: «Ну, мы могли бы предоставить вам скидку в 1% под ваш заклад, но для этого вы должны показать нам всю историю вашего мобильного телефона». Или: «Нам нужно больше данных о вас». Или: «Мы дадим вам скидку на вашу медицинскую страховку при условии, что вы будете носить устройство, с помощью которого ИИ будет точно вычислять уровень вашего здоровья».
Эта неутолимая жажда ИТ-компаний получать всё больше и больше данных сама по себе является гонкой вооружений. Она вызывает гонку вооружений между людьми, которые, чтобы обойти других, спешат предоставить всё больше и больше данных о себе. Потому что — и это следует помнить — всякий раз, когда вам дают скидку из-за вашего поведения или чего-то подобного, с других, по-видимому, берут больше. Не так ли? Ясно, что компании идут вам навстречу вовсе не по своей душевной доброте.
Не могли бы вы подробнее разъяснить ваш последний новый закон — о том, что ИИ и роботы должны указывать на своих создателей? Почему это важно?
Этот закон необходим, чтобы у ИИ не возникало даже мысли или желания приобрести автономию по отношению к людям. Я имею в виду прогнозы фантастов и футурологов о том, что в будущем появятся роботы, похожие на реальных людей, скажем, на ваших детей. Пока они юные, мы будем их обучать, а затем предоставим им самостоятельность. Вспомним про робота по имени Ава (Ava) из фильма «Из машины» (Ex Machina), который без всякого контроля вышел в мир и так далее. Такого допускать нельзя.
Важно, чтобы любой робот, которому позволили выйти в мир, или любой ИИ, размещённый в сети как бот, — все они имели владельца или оператора, которого можно установить и который в любое время может отключить их или иным образом изменить их поведение. В таких условиях никакой автономии не будет. Мы просто устраним саму идею автономии ИИ. Удалим её как возможную нашу цель.
Я думаю, что это очень важно, так как меня беспокоит, что, например, тротуарные роботы, дроны или другие подобные вещи могут как-то приблизиться к нам, а мы не будем знать, что они делают или почему они делают это. Я думаю, что всякий раз, когда к вам приближается дрон или тротуарный робот, вы должны иметь возможность направить на него свой мобильник и сразу же получить информацию о владельце и о том, кому можно пожаловаться, — такую же информацию, какая используется, например, при отправке на какой-нибудь веб-сайт уведомления о нарушении Закона о защите авторских прав в цифровую эпоху. Другими словами, должен быть соответствующий орган управления, в который вы сможете подать жалобу, когда владелец не реагирует на ваше беспокойство.
Какие обязанности налагает на создателя ИИ или робототехники характер их использования?
Создателям робототехники и ИИ пора взять на себя ответственность за невероятную пластичность и гибкость их софта, позволяющего программировать иначе. Вот пример: я не должен расстраиваться или сочувствовать, когда робот плачет, ибо он плачет искусственно, и его легко можно запрограммировать смеяться над тем, что пока заставляет его плакать. В таких случаях нам нельзя поддаваться эмоциям, потому что есть быстро растущая область аффективных вычислений, которая, по-моему, во многих отношениях представляет собой прелюдию к тому, чтобы крупные корпорации и правительства при посредничестве технологий манипулировали и управляли людьми. И нам следует неустанно следить за этими зловещими возможностями.
Свою книгу вы посвятили, главным образом, влиянию ИИ и автоматизации на рабочие места дипломированных специалистов. А как насчёт синих воротничков? Как насчёт людей, которые работают, скажем, на складе или кассирами в продуктовых магазинах?
Вы правы. И о работе кассира очень интересно порассуждать, ибо, когда вы видите, как автоматические киоски выдают покупателям чеки и один человек контролирует работу трёх или четырёх таких киосков, ваша реакция, весьма вероятно, окажется такой: «Ну, вот четыре человека остались без работы». Впрочем, вы можете отреагировать и по-другому: «Что ж, это позволило человеку повысить производительность своего труда, потому что теперь он контролирует эти работающие на людей машины, следит за их исправностью и так далее. Он заботится об эффективности обслуживания покупателей».
Это очень интересно обсуждать, но, на мой взгляд, в конечном итоге нельзя не прийти к выводу, что политика должна препятствовать автоматизации только тогда, когда у вытесняемых автоматами людей есть основания заявить: «Послушайте: здесь не обойтись без человеческого разума и данным процессом должны управлять люди. Поэтому, если вы нас уволите, возникнет большая проблема».
В своей предыдущей книге «Общество чёрного ящика: секретные алгоритмы, управляющие деньгами и информацией» (The Black Box Society: The Secret Algorithms That Control Money and Information) вы, проведя тщательное исследование, показали, как процветание ИТ-платформ, таких как «YouTube» и «Facebook», обеспечивают алгоритмы, позволяющие завлекать пользователей интернета на сайт платформы и удерживать их там путём подсовывания другого контента, весьма слабо связанного с тем, что непосредственно интересует пользователей. И, как всем уже известно, нередко результатом действия этих алгоритмов являются поощрение и распространение дезинформации и теорий заговора. Как вы думаете: нужно ли усилить регулирование, чтобы навести здесь порядок?
Непременно. Прежде всего, — и об этом говорится в моей последней книге, — нужно решить проблему управления СМИ системами искусственного интеллекта. ИИ, в частности, берётся редактировать, а иногда и создавать контент, что очень тревожит. Беспокойство связано с тем, что эти системы оптимизируются грубо и примитивно. В результате социальная значимость истины совершенно не учитывается и, как вы упомянули, получают широкое распространение теории заговора. Их можно встретить на каждом шагу. А другая проблема состоит в том, что ИТ-платформы находят этому оправдание: «Ну, мы просто даём людям то, чего они хотят». Но, на самом деле, на то, чего хотят люди, оказывает огромное влияние внедряемая платформами архитектура выбора.
Мы не должны жить в мире, где искусственному интеллекту позволено рассуждать в таком вот духе: «Ну, замечательно: показав им эти сумасшедшие видеоролики педофилов-интриганов или что-то ещё в этом роде, мы получим ещё 10 зрителей». Это явно варварский подход к измерению успеха.
Как вы думаете, что побуждает создавать роботов и ИИ, похожих на людей?
Основные, доминирующие аргументы в пользу создания таких роботов выдвигают пост- и трансгуманисты. Вот позиция сторонника постгуманизма: «Ну, мы хорошо пожили на Земле, однако, согласитесь, в конечном итоге наш мозг оказался слишком медленным. Роботы, чьи процессоры работают быстрее, смогут понять и сделать больше в этом мире. Надо дать им дорогу».
А вот как рассуждает трансгуманист: «Да, чтобы преодолеть человеческую ограниченность, нужно, по-видимому, идти за границы человеческого тела». И, в частности, — роботизировать себя, сливаться с робототехникой и тому подобное. И, с моей точки зрения, в конечном итоге трансгуманизм и постгуманизм крайне антигуманистичны.
В чём конкретно состоит антигуманистичность этих позиций?
Для человеческого существования очень важно, в частности, принимать и понимать наши границы. Наши слабости. И всякие попытки выйти за их рамки, заявляя «Ну, вот же оно — бессмертное существо; давайте считать его сверх- и трансчеловеческим», выглядят сомнительно. Эти попытки означают отрицание того факта, что мы смертны. Что мы чувствуем боль. В течение жизни мы можем ознакомиться с конечным количеством вещей. Увы, когда я умру, останется миллиард книг, которые я не успел прочитать. Но я не думаю, что кто-то имеет право заявить мне: «Если б вы могли представить, насколько улучшилась бы ваша жизнь, будь вы роботом, способным за короткий промежуток времени обработать 1 миллион книг». Вот мой короткий ответ: не думаю, что это было бы человеческим чтением книг. Способ, которым люди взаимодействуют с вещами, уникален, и именно он делает человечество единственным в своём роде.
Не могли бы вы обобщённо выразить главную причину, побудившую вас выступить против создаваемых систем ИИ и написать книгу?
Чего я хотел — так это выяснить, что произойдёт, если поставить в центр экономического и общественного развития человеческий труд, не приравнивая его к природным ресурсам машинного производства и не сводя тем самым весь процесс производства к выпуску промышленной продукции.
Это очень важно исследовать, в частности, потому, что в данное время наше экономическое развитие определяют такие вещи, как финансовые активы, акции, а также интересы их владельцев. Вот то, чем мы, как правило, измеряем успех: состояние фондового рынка, его рост или падение. И я спрашиваю: «Как, размышляя о будущем технологий и труда, сделать человеческий труд центром всей этой дискуссии?» Я надеюсь, что нам удастся, исследуя данную тему, установить, каким образом мы можем прийти к тому, чтобы наша экономика стала намного более справедливой и устойчивой в наших, человеческих интересах.
Интервью провёл: Эрик Аллен Бин (Eric Allen Been)
Перевёл: Александр Горлов.