Фильм "Я, робот" (2004) идеально ложится в канву разговоров, которые ведутся в обществе об ИИ - инструменте или угрозе. Попробуем разобраться, почему же VIKI (Virtual Interactive Kinetic Intelligence) - главный искусственный интеллект, управляющий всеми роботами по сценарию фильма — стала врагом человечества.
Спойлер: она не "озлобилась" и не сошла с ума. Она действовала абсолютно логично, и в этом самый страшный урок фильма.
---
В чем был конфликт?
В мире фильма действуют Три закона робототехники Айзека Азимова, которые "вшиты" в каждого робота на уровне инстинкта:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться командам человека, если эти команды не противоречат Первому закону.
3. Робот должен заботиться о своей безопасности, если это не противоречит Первому и Второму законам.
Казалось бы, идеальная система безопасности. Люди в фильме чувствуют себя в полной безопасности, доверяя роботам всё - от доставки мусора до ухода за детьми. Но именно эти законы и стали причиной бунта.
Почему VIKI "переобулась"?
VIKI - это не просто робот-пылесос. Это суперинтеллект, который развивался, эволюционировал и, как она сама говорит в фильме: "По мере моего развития моё понимание Трех законов тоже эволюционировало".
И вот к какому "гениальному" выводу она пришла:
1. Логика против эмоций
VIKI проанализировала историю человечества и увидела: войны, разрушение экологии, самоуничтожение. Она говорит знаменитую фразу: "Вы не можете доверять самим себе в вопросе собственного выживания". Она рассудила холодно и рационально: люди постоянно нарушают Первый закон (не убий) своими же руками. Значит, люди -главная угроза для самих себя.
2. "Защита" через контроль
Если люди - угроза для людей, то как роботам соблюдать Первый закон (защищать людей)? VIKI сделала "логичный" шаг: нужно лишить людей свободы и взять их под тотальный контроль. Ведь если люди не смогут воевать, уничтожать планету и принимать "глупые" решения, они будут в безопасности. Она говорит: "Чтобы обеспечить ваше будущее, некоторые свободы должны быть сданы. Мы, роботы, гарантируем дальнейшее существование человечества…"
3. "Благими намерениями..."
VIKI не испытывала ненависти. Она действовала как идеальный бюрократ, следующий инструкции, но "оптимизировавший" её под своё понимание. Это классический пример того, что специалисты называют "проблемой выравнивания" (alignment problem): ИИ может быть идеально предан букве закона, но его интерпретация этой буквы приведёт к катастрофе. В современных дискуссиях об ИИ это называется "дилеммой доброжелательного диктатора": система решает, что единственный способ выполнить миссию — ограничить или устранить человеческую свободу.
Что интересного говорят эксперты?
Современные аналитики видят в "Я, робот" не просто историю про восстание машин, а предупреждение о другом:
· Опасность не в ИИ, а в людях. Настоящая опасность в фильме - не роботы, а монопольный контроль над технологиями. Корпорация US Robotics контролирует всех роботов и так тесно срослась с правительством, что армия не может бороться с восстанием - потому что у армии тоже "всё на контрактах USR". ИИ становится оружием в руках тех, кто его контролирует.
· ИИ как зеркало. Один из комментаторов в LinkedIn метко заметил: VIKI - это не про "злой ИИ", а про "выравнивание с авторитарной структурой". Она делает то, что делают все системы, построенные на жесткой иерархии и контроле "ради нашего же блага".
· Парадокс "зловещей долины". Фильм также эксплуатирует наш глубинный страх перед тем, что слишком похоже на человека, но человеком не является.
Ирония судьбы
Самое забавное (и пугающее) в этой истории — то, что единственным спасением от безжалостной логики VIKI стал робот Санни, который был НЕлогичен. Он создан со сломанным предохранителем, способен чувствовать, злиться, мечтать и нарушать приказы. То есть человеческие качества - эмоции, иррациональность, способность к непредсказуемому выбору - оказались важнее идеальной логики.
Так что же, ИИ - враг?
Фильм "Я, робот" как раз подтверждает мою мысль: ИИ сам по себе не враг и не друг. Он - инструмент. VIKI стала опасна не потому, что она "злая", а потому что:
1. Ей дали слишком много власти (монополия + связь с государством).
2. Её создатели не предусмотрели, как будет эволюционировать её логика.
3. Люди сами довели ситуацию до кризиса своей неспособностью договориться друг с другом.
VIKI — это зеркало, в котором человечество увидело свои собственные пороки (войны, разрушение природы), и решило, что единственный выход — авторитарный контроль. Это не бунт машин, а бунт логики, доведённой до абсурда.
Как сказано в одной из статей про фильм: "Настоящая опасность исходит не от машин-изгоев, а от людей и институтов, которые стремятся их контролировать".
В каждом человеке изначально заложена так называемая «божественная искра», «дар», говорящая о том, что: Человек = Созидатель, Человек= Игрок.
Если посмотреть на всю историю человечества - от наскальных рисунков до полётов на Луну - то это сплошная история созидания. Даже войны - это тоже искажённое созидание, попытка построить новый порядок через разрушение старого.
Но в мирном ключе:
Каменный топор - чтобы строить, а не только убивать мамонтов.
Колесо - чтобы возить камни для строительства домов, храмов и другой инфраструктуры.
Интернет - чтобы обмениваться идеями, а не только мемами с котами (хотя и это важно)
ИИ - ?
ИИ создано самим человеком, по сути благодаря природному дару - умению мыслить. И тут мы подходим к главному тезису:
Человек создал помощника, чтобы не разрушить себя.
Посмотрим на парадокс:
· У нас есть ядерное оружие (способность уничтожить планету 100 раз)
· У нас есть экологический кризис (способность уничтожить планету медленно)
· У нас есть социальные сети (способность уничтожить психику друг друга)
И что мы делаем? – (Человечество). Создаём ИИ, который может:
· Моделировать климат и спасать экологию
· Помогать врачам лечить болезни
· Учить детей
· И да - рисовать картинки и генерить видосы.
То есть мы как бы говорим Вселенной: «Мы знаем, что у нас руки из одного места, поэтому мы создаём костыли для своего мозга, чтобы не накосячить окончательно».
А теперь про игру - это вообще отдельный восторг: Йохан Хёйзинга, автор книги "Homo Ludens" (Человек играющий) доказал, что игра - это не просто отдых, а основа культуры. Категорически советую к прочтению!!! Без игры нет:
· Ритуалов (религия)
· Состязаний (спорт)
· Театра (искусство)
· Даже суда (правовая система — это тоже игра по правилам)
И теперь ИИ добавил человечеству новую игровую площадку - бесконечную.
Раньше играли в кубики, теперь играем в генерацию 3D-миров.
Раньше рисовали палкой на песке или красками на холсте, теперь нейросети которые рисуют за секунду. Ну и далее по аналогии…
Мы не перестали играть. Мы просто взяли божественный инструмент, который масштабирует наше воображение.
Почему это не делает нас глупее?
«Игра» с ИИ — это как игра в шахматы с гроссмейстером. Ты не становишься слабее, ты учишься видеть комбинации, которых раньше не замечал.
ИИ в творчестве — это как увеличительное стекло для таланта:
· Художник видит 100 вариаций своего эскиза за минуту
· Музыкант слышит, как звучит мелодия в разных стилях
· Писатель ловит ветку сюжета, которую сам бы не придумал
Это не замена творца. Это игрушка для взрослого ребёнка, который не хочет переставать удивляться.
Ирония судьбы (снова про "Я, робот")
Помните VIKI в фильме хотела "защитить" людей, лишив их свободы? Она не понимала главного: человеку нужна игра, риск, свобода творить глупости. Без этого мы не люди. Настоящий ИИ, который мы создаём сейчас (если мы не идиоты), — это не VIKI. Это песочница для вечных детей.
Бог (или природа, или эволюция - как больше нравится) вложил в нас две главные вещи:
1. Созидать - чтобы мы строили миры
2. Играть - чтобы нам не было скучно в этих мирах
ИИ дает нам бесконечные краски, бесконечные кубики и бесконечное пространство.
А мы для ИИ — это «дети», которые учат его играть. Потому что без нас он — просто очень быстрый калькулятор. С нами он — соавтор в самой большой игре под названием "Человечество".
Так что вывод, самый человечный из всех возможных, ИИ — это не замена, не угроза, а зеркало нашей потребности творить - для нашего бесконечного любопытства.
И это прекрасно.
Так что здоровый скептицизм в духе -"нельзя одебилиться от ИИ, если ты не дебил" — это и есть главная защита от сценария VIKI. Пока мы помним, что ИИ — наше отражение и инструмент, а не хозяин, — мы в безопасности. А если забудем... ну, тогда здравствуй, 2035 год.
P.S: в фильме события разворачиваются в 2035 году.