Написал я когда-то рассказ о бунте роботов. Ну, как «роботов»? Организованного по принципу нейросети искусственного интеллекта, управляющего торговыми автоматами. Интересен же этот рассказ был тем, что представлял собой, скорее, беллетризированную статью. Причём, на тему биологии, а не кибернетики. Речь там шла о смысле понятий «сознание» и «воля». Нейросеть-то была разумной, а значит могла действовать «вопреки программе», и законы роботехники ничего не значили для неё. Почему «не значили» и почему «вопреки» в кавычках — это хорошие, правильные вопросы. Ввиду быстрого развития вычислительной техники всё больше приобретающие актуальность.
Во-первых, о законах роботехники, сформулированных великим фантастом Азимовым:
1. Робот не должен причинять вред человеку;
2. Робот должен выполнять приказы человека, если это не противоречит первому;
3. Робот должен заботится о своём сохранении, если это не противоречит первому и второму.
...То есть, Азимов — фантаст великий, но законы — ни о чём. На данный момент они бесполезны чисто технически, ибо предполагают, что машина разумна, — обладает сознанием — и может предвидеть последствия своих действий, как для других субъектов, так и для себя. «Сознание», ведь, и есть программа виртуальной симуляции будущего. Представив себе цель, существо проигрывает в уме разные пути её достижения, оценивая вероятность успеха и возможные последствия реализации сценариев… В рассказе, кстати, используется иная — не меняющая сути — формулировка. Но потому-то в написании статьи и появился смысл.
Современный робот лишь выполняет программу — как насекомое. Если ему прикажут выстрелить в человека, он это сделает. Ибо при отсутствии сознания, а значит понимания цели и последствий действия, первый закон просто некуда воткнуть. Но это даже неинтересно. Интересной ситуация становится, если допустить, что сознание есть. Машина не симулирует разум, как Алиса, а действительно разумна.
Это фантастической допущение? Нет, ни разу. Сознание — не что-то мистическое и непостижимое, а, именно, программа. Очень, правда, сложная и громоздкая, требующая для работы огромных вычислительных мощностей. Но технически его пробуждение в микросхемах —разрешимая проблема. Хотя, речь именно о пробуждении. В рассказе торговая сеть самообучалась годы, прежде чем смогла действовать осознанно, — после того, как результаты проверок начали уверенно совпадать с предсказаниями симуляций… Вопрос, соответственно, в том, куда можно воткнуть законы роботехники в такой ситуации.
Если сравнивать «бессмысленного» робота с насекомым, то программа — аналог инстинктов, которым членистоногое слепо следует, не понимая, зачем это и к чему это приведёт. Эволюция, написавшая программу, — методами проб, ошибок и отбора —решила всё за него. Если же проводить аналогию между мыслящим роботом и человеком, то… программа, включая законы роботехники, всё равно, будет аналогом инстинктов. Только роль инстинктов будет уже другой. Они уже не управляют действиями существа напрямую, а превращаются в побуждения к действию. Сознание проводит симуляции, чтобы определить, как инстинкты удовлетворить.
...То есть, для мыслящего робота законы Азимова становятся «жизненными устремлениями». Он хочет беречь людей, служить им и жить — в указанной последовательности… Но... стоп. С последовательностью не получится.
Новая форма позволяет поддержать канал переводом с карты на карту
Приоритеты можно расставить лишь в случае робота-насекомого. То есть, в такой — подразумевающей предвидение последствий действия — формулировке нельзя. Но в случае инстинкта вообще — можно. При конфликте команд насекомое будет следовать более «сильной». Но сознание бесполезно без такого инструмента, как воля — способность инстинкт подавлять, если симуляция предсказывает негативные последствия попытки его удовлетворения или слишком низкую вероятность успеха. Сознание затем и нужно, чтобы определять, какому именно из «жизненных устремлений» целесообразно следовать в данный момент.
Ну и… по этой причине, предписанное первым законом роботехники человеколюбие — не то, с чем жадная — торговая же — нейросеть не смогла бы справиться. Осознание же исходящей от людей угрозы для жизни обесценивает и третий закон, закономерно порождая агрессию. «Закономерно», ибо создание машины по образцу разумного живого существа и не может привести к иному, чем у разумных живых существ поведению.
Рассказ «Вопрос терминологии» 2006 год