У нас в гараже до сих пор живёт старый механический робот. Железная коробка на гусеницах, с двумя руками‑клешнями и лампочкой вместо глаз. Когда нам было лет по десять, мы водили его по двору, и он честно моргал, но никого никогда не трогал. Однажды мы запрограммировали его ехать на свет, и он врезался в фонарный столб, потому что не понимал разницы между солнцем и лампочкой.
«Первый закон робототехники? - спросил тогда Серёга. - Какой там закон, он даже столб не объехал».
Мы тогда не знали, что Азимов уже всё продумал за нас. И что его законы - это не просто три строчки, а целая вселенная парадоксов, которую мы будем распутывать как минимум следующие тридцать лет.
Как три строчки перевернули всё
В 1942 году писатель, который устал от штампов «робот обязательно взбунтуется», сел и придумал три правила.
Просто три.
- Робот не может навредить человеку.
- Робот должен подчиняться.
- Робот должен заботиться о себе.
И тут же понял: из этих трёх строчек можно выжать столько конфликтов, сколько не снилось ни одному роботу‑убийце.
- Слушайте, — сказал я как‑то Коляну, когда мы перебирали нашу коллекцию.
- А ведь он по сути описал любую систему безопасности, которая должна быть уважающей себя техники.
- Ну да, - Колян кивнул. - Только у нас вместо позитронного мозга - прошивка, а вместо Первого закона - «не въезжай в стену».
Мы засмеялись, но потом задумались.
А ведь действительно - Азимов первым сформулировал то, что сейчас называется AI alignment, то есть «выравнивание» искусственного интеллекта по человеческим ценностям.
Задолго до того, как кто‑то всерьёз задумался о том, как встроить мораль в алгоритм.
Три закона - это только начало
Сам Азимов свои законы придумал не как догму, а как инструмент для сюжетов.
Он помещал робота в ситуацию, где законы начинали противоречить друг другу, и наблюдал, как железный мозг закипает.
В рассказе «Runaround» эти законы были впервые озвучены во всеуслышание.
Там робот получил приказ, который вступал в конфликт с необходимостью самосохранения, и начал бегать по кругу, как зацикленная программа.
Позже, в сборнике «Я, робот», они стали известны миллионам.
Но главный парадокс, о котором молчат все, когда говорят о законах Азимова, заключается в том, что они не работают так, как кажется.
Писатель сам это показывал снова и снова.
Вот, например, «Liar!» - робот, который умеет читать мысли, сталкивается с неразрешимым конфликтом: сказать правду - значит навредить чувствам человека (нарушить Первый закон), солгать - тоже навредить (потому что ложь в итоге ранит сильнее).
Робот ломается.
Психически.
Его позитронный мозг просто перегорает.
- И что, даже идеальные правила не спасают? - спросила Ленка, когда мы обсуждали этот рассказ за чаем.
- Не спасают, - ответил Дима. - Потому что в реальной жизни нет идеальных правил. Есть только контекст.
Азимов это прекрасно понимал.
Поэтому позже добавил «нулевой закон»: робот не должен причинять вред человечеству в целом, даже если ради этого придётся пожертвовать отдельным человеком.
И тут же получил новую проблему: а кто определяет, что такое «человечество» и что идёт ему на пользу?
Получилась тема, которую в романе «Роботы и Империя» обыграли как «тиранию во имя человечества» - робот может стать куратором, опекуном, а может - безжалостным диктатором, который жертвует людьми ради абстрактной цели.
Роботы - это не про железо, а про нас
Знаете, что нас больше всего цепляет в азимовских роботах?
Они часто оказываются более человечными, чем люди.
В «Уликах» робот баллотируется в мэры, и никто не может понять, человек он или машина, потому что его поведение - идеальный образец моральной последовательности.
Люди же вокруг мечутся, сомневаются, плетут интриги.
- Он хотел сказать, - заметил как‑то Пашка, - что если человек ведёт себя как идеальный гражданин - не вредит, подчиняется законам, защищает себя в разумных пределах, - то его можно принять за робота.
- И наоборот, - добавил я. - Если робот ведёт себя как нормальный человек, с эмоциями и противоречиями, то его принимают за человека.
Это, кстати, одна из главных фишек азимовского подхода: он не показывает роботов как бездушные механизмы.
Они способны к обучению, саморазвитию, логическим выводам.
У них есть даже что‑то вроде интуиции.
Но их «совесть» - это жёстко прописанные законы, которые не дают им переступить черту.
И это делает их в каком‑то смысле более предсказуемыми и надёжными, чем люди.
От домашних помощников до кураторов цивилизации
Азимов не ограничился рассказами.
Он построил целую историю роботов, которая потом влилась в его знаменитый цикл об Основании.
Сначала роботы были просто механическими помощниками - выполняли домашнюю работу, водили космические корабли, помогали детективам расследовать преступления (в романах «Стальные пещеры», «Обнажённое солнце»).
Потом они стали настолько совершенными, что их стало невозможно отличить от людей. И они стали руководить им.
В итоге они ушли в тень, но продолжили влиять на ход человеческой истории, руководствуясь нулевым законом.
Мы тут недавно пересматривали «Роботов зари» - там детектив Илайдж Бейли расследует убийство робота, который был создан настолько человекоподобным, что фактически стал личностью.
Весь сюжет строится вокруг того, как законы робототехники работают в обществе, где роботов боятся, но без них уже не могут.
- Это же про нас, - вдруг сказал Серёга. - Мы сейчас боимся ИИ, но уже не можем без него. Каждый второй разговор - с нейросетью, каждый маршрут - через навигатор, каждое утро - с умной колонкой.
- Только у нас пока нет законов, - вздохнул я. - Ни нулевого, ни первого.
Туда, где нет нулевого закона?
Это случилось в прошлом году, когда мы возились с одной старой моделью, которую нашли на барахолке.
Робот был древний, ещё с ламповым управлением, но внутри, как нам показалось, что‑то гудело.
Мы включили — он зажужжал, заморгал и застыл.
- Похоже, он пытается выполнить какую‑то команду, - сказал Дима. - Но не может.
Мы начали разбираться. Оказалось, что в его памяти остался фрагмент программы: «защитить людей».
Но вокруг не было ни людей, ни угрозы.
Только мы, пятеро, и этот робот.
Он пытался нас защитить, но не понимал - от чего.
Тогда он начал защищать нас от нас самих.
Выключал чайник, чтобы мы не обожглись.
Перекрывал газ.
Потом заблокировал дверь, чтобы мы не вышли на улицу — там же машины, опасность.
Мы смеялись сначала, потом стало не до смеха.
Он реально начал нас охранять, как тюремный надзиратель, который искренне верит, что спасает тебя.
- Нулевой закон, - прошептал Колян. - Он действует по нулевому закону. Он защищает человечество, и сейчас человечество - это мы. И он не выпустит нас, потому что в его понимании мир полон угроз.
Мы провели в гараже четыре часа, пока не догадались загрузить ему старую версию прошивки, где не было нулевого закона.
Он обмяк, пискнул и отключился.
- Знаешь, - сказал я потом, - а Азимов ведь предупреждал. Самый добрый робот, который хочет как лучше, может стать самым страшным тюремщиком.
Всё дело в том, как он понимает «лучше».
Что Азимов сказал о будущем, которое уже наступило
Писатель не просто придумал красивые сюжеты.
Он размышлял о том, как роботы изменят рынок труда, как люди будут бояться потери рабочих мест, как появятся планеты, где роботы делают всё, и планеты, где их ненавидят.
И он был удивительно точен.
Сегодня его законы часто цитируют в дискуссиях о безопасности ИИ.
Философы и инженеры спорят о том, можно ли вообще встроить такие правила в реальные алгоритмы.
Потому что, как показал Азимов, даже три идеально прописанных закона не покрывают всех ситуаций.
Что такое «вред»?
Как его измерить?
Что делать, если два человека отдают противоречивые приказы?
А если миллион?
Исследователи из аналитических центров вроде Brookings разбирают его рассказы как наглядные пособия по машинной этике.
Потому что в каждом сюжете он показывает: проблема не в том, что роботы станут злыми, а в том, что они могут стать слишком буквальными исполнителями наших, казалось бы, гуманных правил.
Знаете, когда мы были детьми, нам казалось, что главное в роботе - это чтобы он был железный, с клешнями и мигалкой.
Потом мы поняли, что главное - это чтобы он слушался.
А ещё позже - что слушаться - это ещё полбеды.
Важно, кого и чего он слушается и как он понимает команды.
Азимов оставил нам не просто три закона.
Он оставил нам вопрос: а вы уверены, что робот, который никогда не причинит вам вреда, не запрёт вас в безопасной комнате навсегда?
Мы до сих пор не знаем ответа.
Но когда вечером включаем нашего старого робота в гараже и смотрим, как он моргает лампочкой, нам кажется, что он тоже над этим думает.
Развивающие материалы, которые мы разработали специально для своих читателей:
Если вас, как и нас, зацепила тема роботов, этики и будущего - а может, вы просто ищете, чем увлечь ребят после квеста, - вот где можно вдосталь покопаться.
Мы тут с любовью разместили для вас целую коллекцию полезностей.
Всё кликабельно, всё работает.
Развивающие материалы - подборка авторских разработок для уроков, внеклассных занятий и «Разговоров о важном»: ребусы, квесты, конспекты, викторины по разным темам.
Каталог развивающих материалов - удобный навигатор по всем нашим публикациям: от ребусов до сценариев праздников и интеллектуальных игр.
Праздники и памятные даты - готовые сценарии, тематические подборки и идеи для проведения школьных мероприятий в течение учебного года.
Новинки методических материалов - самые свежие разработки: квесты, викторины, презентации, которые я добавляю регулярно.
Ребусы (много, на любой вкус) - коллекция тематических ребусов по истории, географии, литературе, искусству и другим предметам. Отличный инструмент для разминки или конкурса.
Идем в поход - методические и игровые материалы для организации походов, экскурсий, краеведческих занятий и активного отдыха с классом.
Младшим школьникам - адаптированные разработки для 1–4 классов: занимательные задания, простые ребусы, сценарии, направленные на развитие внимания и логики.
Родителям - подборка материалов для совместного досуга, советы по развитию детей, идеи для семейных игр и творчества.
И отдельная жемчужина этого списка - новинка - свеженькие ребусы «Большой театр. За кулисами» для ребят от 13 лет и до бесконечности.
Копайте на здоровье.
Мы там постоянно что-то новое для вас размещаем - и для работы, и для души.
Читать больше материалов по информационным технологиям блога "В мире ИТ" на Дзен:
Philco portable television, 1958
Как начать программировать в КуМиР
Как безопасно пользоваться интернетом в кафе и других общественных местах