Давайте на мгновение задумаемся над моральным вопросом. Правильно ли, чтобы бездумный, нечувствующий объект лишал человека жизни? Иными словами, должна ли судьба жизни или смерти зависеть от объекта, который не понимает ни жизни, ни ее ценности? Мы не говорим о пистолете, которым должен управлять человек, чтобы причинить вред. Мы говорим об оружии, которое может действовать самостоятельно, об алгоритме, который может с пугающей точностью лишить человека жизни. Когда это формулируется таким образом, это слишком похоже на франшизу «Терминатор» 1980-х годов, где человекообразные роботы ведут боевые действия против человечества. Научно-фантастическая история, происходящая в далеком кибернетическом будущем, где искусственный интеллект сошел с ума и правит бесконтрольно.
Но это не проблема завтрашнего дня. Это проблема сегодняшнего дня.
Первые серийно производимые оружия с автономными возможностями появились во время Второй мировой войны в виде самонаводящихся торпед и систем противовоздушной обороны, но считается, что первое настоящее современное использование этой технологии автономного оружия произошло в марте 2020 года во время удара беспилотника в Ливии. Машины охотились на членов Ливийской национальной армии, что вызвало сенсационные сравнения технологии автономных дронов с упомянутыми роботами из «Терминатора». Ситуация, конечно, гораздо сложнее, чем кажется из этого сравнения. Существует множество сторон этого вопроса, которые необходимо учитывать.
Часто называемые «роботами-убийцами», летальные автономные оружейные системы — это системы, которые используют ИИ для идентификации, нацеливания и убийства других людей самостоятельно. Автономному оружию дается целевой профиль, который оно ищет с помощью распознавания лиц, машинного обучения и других сенсорных данных. Как только алгоритм находит человека, соответствующего целевому профилю, он может выстрелить и убить этого человека на месте. Основное отличие этих автономных оружейных систем от беспилотных военных дронов заключается в том, что в последнем случае человек все еще участвует в принятии окончательного решения на расстоянии. Автономное оружие не полагается на людей для подтверждения, оно полагается на свои алгоритмы.
Привлекательность этого понятна: использование автономного оружия ставит под меньший риск жизни военных и гражданских, поскольку на поле боя выходят оружие, а не люди. Их алгоритмы и сенсоры также позволяют им точно определять свои цели, чтобы невинные жизни не были неправомерно потеряны. Все это анализируется и принимается решения на эффективных скоростях машин. Для правительств это может быть игрой в силу. Поскольку нет глобальных правил по разработке автономного оружия, оно стало дешевле и более доступным с годами, что позволило даже небольшим преступным организациям получить доступ к технологии. Страны, которые не позволяют разработку автономного оружия в своих границах, могут упустить множество его преимуществ, оставив их в невыгодном положении.
Проблема в том, что одно автономное оружие может не причинить большого вреда, но рои таких оружий могут быть куплены по хорошей цене и затем использованы для убийства без вмешательства человека. Тогда они становятся оружием, с которым стоит считаться. Некоторые называют это оружием массового уничтожения.
Турция, Израиль и более недавно Китай известны как производители и экспортеры автономных дронов. За годы эти дроны стали более независимыми. В прошлом они были ограничены полусамостоятельностью и нацеливались только на материалы, а не на людей, но теперь они могут полностью автономно работать и оснащены сенсорами, необходимыми для нахождения и уничтожения их человеческих целей.
Эта технология быстро распространяется, вызывая то, что многие называют «третьей революцией в ведении войны».
С этой быстрой скоростью распространения приходит непредсказуемость и потенциал для неконтролируемой эскалации. Автономное оружие непредсказуемо специально. Они запрограммированы на определенную степень непредсказуемости, чтобы избегать и переигрывать вражеские системы, что делает их более трудными для уничтожения.
Турция производит квадрокоптер, известный как STM Kargu-2, который способен к полной автономии и может легко производиться массово. Такие дроны могут формировать рои, достаточные для уничтожения значительной части населения города. Kargu-2 остается работоспособным, даже когда его GPS и радиосвязь заглушены, и оснащен возможностями обработки изображений и машинного обучения. Сырье легко доступно, легко маскируется и транспортируется, и, по прогнозам, скоро появится на черном рынке, где будет в пределах досягаемости всевозможных преступных организаций.
Некоторые даже указали, что они могут быть использованы для уничтожения массовых групп определенных этнических групп в нацистском стиле атаки. Этот выборочный нацеливание групп означает, что автономное оружие будет убивать людей на основе их предполагаемого возраста, расы, пола, религиозной одежды или другой биометрической информации. В мире, постоянно разделенном на тему религии и расы, это ставит классы людей в более высокий риск этнической и религиозной чистки. Автономный геноцид.
Автономное оружие даже было испытано во время военной игры. Во время симуляции, в которой Соединенные Штаты и восточноазиатские страны были вовлечены в войну, корпорация RAND (исследовательская организация, посвященная решению политических вызовов) обнаружила, что управляемые системы вдохновляют большее сдерживание, чем автономные. Страны были менее склонны к использованию силы, когда сталкивались с другими живыми людьми. Это частично привело к тому, что жизни людей были спасены в большинстве игры. Большинство жертв пришло от машин, а не от людей. В будущем это может привести к тому, что войны будут продолжаться дольше, потому что стоимость потерь машин будет считаться ниже, чем стоимость человеческих жизней.
Самым интересным аспектом военной игры могла быть непредсказуемость автономного оружия. Из-за того, что принятие решений машин может быть настолько быстрым, иногда игроки использовали силу, когда они не собирались этого делать, и в один момент даже ударили страну, которую они не хотели вовлекать в войну. Насколько вероятны эти аварии в будущем, зависит от того, что мы выберем ценить. Более быстрые времена реакции и более агрессивный ИИ приведут к большему количеству аварий, а программирование более осторожных ИИ-систем, даже если они будут медленнее, приведет к меньшему количеству аварий.
И затем есть моральный вопрос, поставленный в начале статьи.
Машина не имеет способности понять ценность жизни или даже что значит быть живым. Поэтому их не следует оснащать возможностью убивать людей. На эту тему Генеральный секретарь ООН Антониу Гутерриш сказал следующее: «Машины с властью и усмотрением принимать жизни без участия человека являются политически неприемлемыми, морально отвратительными и должны быть запрещены международным правом».
К сожалению, ООН мало помогла в вопросе регулирования автономного оружия. Конвенция ООН по некоторым видам обычного оружия (CCW) проводит обсуждения на тему автономного оружия с 2013 года, и в 2016 году они создали Группу правительственных экспертов (GGE) для решения этих проблем. К концу 2021 года эти обсуждения не привели к какому-либо протоколу или даже началу переговоров о протоколах. С тех пор мало что произошло, что привело к разочаровывающему тупику.
Другие, такие как Институт будущей жизни и Международный комитет Красного Креста, продолжают выступать за дальнейшие обсуждения и регулирование. Согласно Красному Кресту, «использование автономных оружейных систем для нацеливания на людей должно быть исключено. Это лучше всего будет достигнуто путем запрета на автономные оружейные системы, которые предназначены или используются для применения силы против людей».
Но пока не стоит терять надежду, несмотря на растущий паттерн использования роев дронов и другого автономного оружия в битвах по всему миру. Как и горчичный газ, кассетные бомбы и мины, определенные виды оружия могут быть запрещены в современной войне, если страны объединятся в соглашениях о вооружении. Пора разрабатывать правила для летального автономного оружия. Эксперты разных мнений по поводу автономного оружия — как сторонники, так и противники — сошлись на том, что следующим шагом должен быть мораторий, аналогичный тому, который предлагается для всего ИИ. Сэм Альтман из ChatGPT открыто заявил, что он поддерживает идею остановки разработки ИИ. Петиция о запрете автономного оружия уже подписана 4000 исследователей ИИ и робототехники, а также 26 000 других людей, включая Стивена Хокинга, Илона Маска, Стива Возняка, Ноама Хомского и многих других.
Даже если запрещение автономного оружия навсегда окажется нецелесообразным, первым шагом к регулированию может быть предложенный мораторий на их разработку и использование, чтобы лучше понять преимущества, недостатки и наилучшие практики использования этого оружия. Также важно отметить, что комитеты не призывают к запрету на использование всего ИИ в военных целях, а только автономного оружия в частности. Пауза в работе с ИИ в целом — как в военной, так и в других областях — также необходима для того, чтобы замедлить постоянное стремительное развитие технологической отрасли, где каждый день мы создаем больше технологий, которые все меньше и меньше понимаем.
Небрежное отношение к ИИ ничем не отличается от небрежного обращения с патогеном. Работая с патогеном и продолжая его разрабатывать, мы можем обнаружить лекарства и вакцины, которые могут сделать мир лучше, но также существует риск вызвать широкомасштабную пандемию, если мы будем безрассудны и не регулироваться. Мы все знаем, что ИИ имеет потенциал изменить мир удивительным и беспрецедентным образом, но также он имеет потенциал быть, как выразился ChatGPT, «ящиком Пандоры».