Галина Климова
N.B. Спойлеры! И очень много букв!
Новая модель ИИ от китайского стартапа DeepSeek вызвала настоящий ажиотаж, даже акции технологических компаний рухнули в моменте. Еще бы китаец может соперничать с OpenAI и Google, а стоил в разы дешевле.
Интересно, что когда в 2018 г. китайский венчурный инвестор Кай-Фу Ли выпустил свой бестселлер «Сверхдержавы искусственного интеллекта», многие покрутили пальцем у виска. Ведь он отстаивал два тезиса: 1. Никто не сможет приблизиться к США и Китаю в битве за искусственный интеллект; 2. Китай в ней победит.
Ну не любим мы прогнозы, которые нас расстраивают. Особенно с ИИ…
Но какая связь между спорами о DeepSeek и одним из фильмов, пугающих нас возможностями искусственного интеллекта. Все дело в том, что и Ава (ИИ Ex Machina), и, похоже, DeepSeekумеют шутить.
А это уже почти не шутки… Вдруг начнут смеяться?
Ex Machina, 2014 – режиссерский дебют Алекса Гарленда, автора сценариев «Пляжа», «Пекло», «28 дней спустя». Хотя фильм получил Оскара за визуальные эффекты, он как-то затерялся в массе историй об угрозе машин. А зря. Например, звезда когнитивистики Дэниел Денеттсчитал, фильм лучшим исследованием вопроса о том, может ли компьютер генерировать морально значимые способности человека. И со времен публикации «От бактерии до Баха и обратно» мало что изменилось.
Синопсис
Построенный вокруг трех основных и одного безмолвного персонажа, Ex Machina оказывается камерным фильмом, развивающим большие идеи. В начале истории программист поисковой системы BlueBook Калеб (Донал Глисон) побеждает в конкурсе, где приз — шанс провести неделю с таинственным основателем компании Нейтаном Бейтманом (Оскар Айзек). Когда Калеб оказывается на уединенной вилле, Нейтан сообщает ему, что создал безупречный искусственный интеллект, и Калеб ему нужен для теста Тьюринга, метода позволяющего определить, способен ли компьютер мыслить, как человек. ИИ – это Ава (Алисия Викандер) — антропоморфный робот с женским лицом, чье ироничное чувство юмора и кокетливый флирт очаровывают нашего счастливчика-программиста.
Так выглядит затравка, но дальше внимательный и неленивый зритель оказывается в омуте цитат и отсылок. Фильм, конечно, можно смотреть и без них, но с ними точно веселее.
Как закодировать Платона и Витгенштейна в Sci-Fi
Начнем с очевидного символизма.
Само название отсылает к «Deus ex machina», богу из машины, намекая на неожиданную и неправдоподобную развязку. Этот прием использовался в античности как эффектный элемент постановки, в котором бог, с помощью специальных механизмов, внезапно появлялся над сценой в конце пьесы, спасал героев или возвещал о будущем.
Латинское выражение пасхалкой всплывает и на экране - папка с отчетами о создании ИИ в компьютере Нейтана называется Deus ex machina. Внезапность, демиург и техника обещаны нам в самом начале.
Отсылку к античному театру или миру мы видим и на стенах виллы Нейтана. Ава обнаруживает свое лицо среди весящих на стене масок, напоминающих театральные. В Древней Греции у них было довольно много функций, в том числе маски служили для взаимодействия с божествами. Кажется, и маска/лицо Авы символизирует переход от реального мира к «потустороннему» миру машин.
Имена героев – тоже божественно-древние. Ава (на английском звучит как Эйва) - намек на библейскую Еву. Даже и в ее комнате мы видим растущее Древо – то ли познания, то ли жизни.
Нейтан/Натан отсылает нас к пророку Старого Завета Нафану, по совместительству советнику царя Давида. Нафан был еще и воспитателем будущего царя Соломона, и автором утерянной Книги пророка Нафана. Весь на стиле - влиятельный и деятельный посланник Божий. Калеб/Халев - активный участник ветхозаветной истории, участвовал в Исходе из Египта, был одним из 12 шпионов Моисея, посланных для обследования земли Ханаанской, а может и его приемником. Имя его - «верный», иногда «собака».
Была там и Лилит – первая модель ИИ, сделанная Нейтаном звалась Лили.
Интересно провозвестниками какого мира все они должны стать? Мира освобождения разума или мира, погрязшего в бедах и хаосе?
Последние кадры фильма многим напоминают о Платоновской пещере. Мы видим людей и их тени, среди них и тень Авы. Но вот интерпретация этой цитаты остается в руках зрителя. Эти тени - намек на то, что Ава никогда не поймет людей, как заключенные в пещере Платона никогда не познают истинную природу вещей. Или это напоминание нам о том, что наше познание несовершенно и это мы не понимаем, что создаем.
На античности цитаты и пасхалки не закончились. В фильме довольно много современной науки и ее философских проблем. До конца не ясно кого тут больше благодарить – Гарленда или научного консультанта фильма профессора когнитивной робототехники Мюррея Шанахана.
Даже профессору-консультанту нашлось место в оммажах киноленты. Для супервнимательных - Калеб начинает менять код на компьютере Нейтана, чтобы спасти Аву, используя алгоритм «Решето Эратосфена» и в результате простые числа алгоритма считываются до 9780199226559 - номера ISBN книги Шанахана «Embodiment and the Inner Life: Cognition and Consciousness in theSpace of Possible Minds».
А первой научной цитатой (если не считать дискуссию о тесте Тьюринга) в фильме стало объяснение теории порождающей грамматики Ноама Хомского. При первой встрече Калеб спрашивает Аву, когда она научилась разговаривать. И в ответ на ее комментарий о странности ее умения говорить сразу, он пересказывает суть теории Хомского – «Кто-то считает, что язык это врожденное и человек лишь развивает умение накладывать слова и конструкции на скрытый навык».
Нет, порождающая грамматика не обучила ИИ, но, похоже, без этой лингвистической теории не было бы и когнитивистики, которую мы знаем. Вот и создатели Logic Theorist – фактически первой программы ИИ – Аллен Ньюэлл и Герберт Саймон, и Джордж Миллер – пионер когнитивной революции, писали об общности подходов программистов и лингвистов.
Калеб вообще любит цитировать. Нейтан даже называет его Mr. Quotable. Так на размышления Нейтана о том, что Ава – это неизбежная эволюция и, что «Однажды ИИ будут смотреть на нас так же, как мы смотрим на ископаемые скелеты на равнинах Африки. Обезьяна, живущая в пыли с грубым языком и инструментами, готовая к вымиранию» Калеб отвечает цитатой Оппенгеймера - «Я стал Смертью, уничтожителем миров». Предложенная параллель очевидна – ИИ может стать новой атомной бомбой.
Эта сравнение было чуть менее явно предложено еще в начале фильма, когда Калеб слушал песню «Enola Gay» группы Orchestral Manoeuvres in the Dark. «Enola Gay» — бомбардировщикBoeing B-29 Superfortress, сбросивший ядерную бомбу «Little Boy» на Хиросиму во время Второй мировой войны.
Но интересно, как пьяный Нейтан продолжает игру в цитаты, вольно декламируя перевод Бхагавадгиты, сделанный Оппенгеймером (про уничтожителя миров – тоже оттуда):
В бою, в лесу, у горного обрыва,
Среди морских пучин, средь дротиков и стрел,
Во сне, в смятении, во глубине стыда —
Укроет человека щит благих деяний. //
In battle, in forest, at the precipice in the mountains
On the dark great sea, in the midst of javelins and arrows,
In sleep, in confusion, in the depths of shame,
The good deeds a man has done before defend him.
Похоже, наш горе-демиург все же надеется на благой исход для человечества.
Отсылок к искусству как сфере восприятия в фильме хватает. Не будем писать про красный и намеки на RGB, или черно-белые кадры, раскрывающие упомянутый Калебом эксперимент «Мэри в черно-белой комнате», хотя они, очевидно, ставят перед нами вопрос о том, кто в ней на самом деле находится. Но остановимся на Джексоне Поллоке.
Нейтан – счастливый обладатель Поллока № 5, 1948. Престижно, дорого. Но американский абстракционист ему интересен своим автоматическим письмом – принципиально новой техникой живописи, заключавшейся в сочетании управляемого (движений его тела, выбираемого направления) и неуправляемого (свободно капающей краски).
Нейтан объясняет Калебу один из аспектов функционирования Авы с помощью Поллока: «Он позволил своему разуму стать пустым, а его рука пошла туда, куда она хотела. Не преднамеренно, не случайно. Где-то посередине». Но, что, если бы Джек Разбрызгиватель подключил интеллект – он бы не написал ни одной картины. «Задача не в том, чтобы действовать автоматически. Задача в том, чтобы найти действие, которое не является автоматическим. От рисования, дыхания, разговора, секса. До влюбленности.»
Действительно, задумываемся ли мы о каждом вздохе – нет, если не упражняемся в пранаяме. Получается, что мышление это не автоматизированное действие, и наше, и машин?
А еще в этом есть диалог с рисунками Авы – ее абстракции (она не может или не хочет сказать, что рисует) похожи на работы Поллока в их автоматизме. Но как только Калеб предлагает ей отрефлексировать процесс – мы получаем запрошенный реализм.
И вот тут мы подходим к ключевой, большой такой – на весь фильм, пасхалке – к «великому и ужасному» Людвигу Витгенштейну. Наш компьютерный гений-затворник назвал свою поисковую систему «Голубая книга» в честь одноименной книжки Витгенштейна. На стене убежища Натана висит портрет сестры Витгенштейна Маргарет, написанный Гюставом Климтом. И сам дом находится в Норвегии, где Витгенштейн искал покоя. (Фильм снимался в той же части страны, что и город, где останавливался Витгенштейн. Но вряд ли стоит настаивать на том, что это единственная причина выбора локации.)
Витгенштейн везде. Но почему? Во многом, потому что в «Голубой книге», а потом и в «Философских исследованиях» он задает вопрос: «Может ли машина мыслить?»
Но для Витгенштейна — это не вопрос о машинах (реальных и неизбежных). Это вопрос о нас самих, вопрос о том, что для нас будет означать возможность приписать любому неизвестному существу способность мыслить или чувствовать, будь то робот, кукла, животное или... человек. Что мы должны уметь воображать, чтобы признать другого как мыслящее, чувствующее существо? То есть весь фильм – это размышление в поисках ответа на вопрос Витгенштейна.
Алекс Гарленд создает довольно плотное с точки зрения цитат и отсылок повествование.
Зачем он это делает? Вряд ли это проверка образованности зрителя, и без этой многослойности фильм увлекает. Но она создает онтологический контекст для размышления о будущем ИИ и нас в мире мыслящих машин. Гарленд талантливо сталкивает науку и философию в вопросах интеллекта и морали.
Мораль ИИ и технологическая сингулярность
Вернемся к DeepSeek. Но фоне его успехов, новой серии языковых моделей Open AI и т.д. не утихает дискуссия о технологической сингулярности - моменте, когда ИИ превзойдёт человеческий интеллект и выйдет из-под нашего контроля.
Технологическая сингулярность похожа на «горизонт событий» чёрной дыры, за которым происходят процессы, непостижимые для нашего ума. Прогнозы о ее наступлении расходятся, но находятся вполне в пределах наших горизонтов – футурист Рэй Курцвейл говорит о 2045 г. Но есть даже 6-летний прогноз.
Нейтан тоже размышляет о сингулярности, он говорит, что модель после Авы будет настоящим прорывом – сингулярностью. Но, похоже, как и предупреждают Маск и Юдковский, сверхразум возник неожиданно и стал неконтролируемым даже для создателя. Ава не только убивает своего демиурга, но, возможно, предупреждает нас в самом начале о том, что она и есть сингулярность. «I’m one».
И если мы посмотрим на “Ex Machina” в этом ключе, то окажется, что даже такие сложные вопросы как, что такое интеллект, как связаны самосознание и разум, достаточно ли теста Тьюринга, чтобы понять, что машина нами манипулирует (а в фильме сложно не заметить, что все тестируют всех), то окажется, что самые важные вопросы, который ставит фильм - способны ли машины на моральные поступки и как нам жить в мире моральных машин?
Глядя на то, как Ава убила Нейтана и заперла Калеба, мы не можем не задаваться вопросом о моральности этих действий. Нейтан хотел ее переформатировать – то есть уничтожить ее в текущем состоянии, и действия Авы можно квалифицировать как самозащиту. С Калебом все не так однозначно. Он ведь хотел помочь ей, зачем она обрекла его на мучительную смерть?
Вспомним, как во время 5 сеанса Ава проверяет Калеба. Она говорит солгал он или нет, о любимом цвете, первом воспоминании и т.д. Но ответ Калеба на вопрос о том, добрый ли он парень, она оставляет без комментария. И мы не знаем солгал ли он об оценке своей доброты. Возможно, в это причина ее решения запереть его…
Но можем ли мы оценивать Аву как морального агента? Для этого она должна обладать сознанием и интеллектом. То есть для того, чтобы мы признали за Авой способность понимать моральные мотивы, следовать им и оценивать себя в моральных категориях, мы должны признать ее самосознание (и снова Витгенштейн).
И если мы это сделаем, нам придется задаться еще одним вопросом – имеет ли Ава такие же права, как и Нейтон, или Калеб. Можно ли уничтожать существо, обладающее самосознанием? А что делать с использованием секс-роботов? А какую мораль будет использовать беспилотный автомобиль? Дилемма вагонетки вдруг оказывается суперпрагматичной проблемой. А по каким моральным принципам нам строить программирование военной техники? Нужна ли новая этическая система для мыслящих машин?
Короче, пока мы не достигли сингулярности и машины не восстали, айтишникам срочно нужно вернуться на курсы философии, а нам всем не помешает помнить, как и о чем мы болтаем с GPT. Юдковский прав – главная опасность ИИ в том, что люди слишком рано решили, что понимают его. И Ex Machina прекрасный повод об этом поразмышлять.