Согласно недавнему докладу Совета Безопасности Организации Объединенных Наций о гражданской войне в Ливии, автономные системы вооружения, широко известные как роботы–убийцы, возможно, впервые убили людей в прошлом году. История вполне может определить это как отправную точку следующей крупной гонки вооружений, которая потенциально может стать последней для человечества.
Конвенция Организации Объединенных Наций о конкретных видах обычного оружия обсуждала вопрос о запрете автономного оружия на своем совещании по обзору, проводимом раз в пять лет в Женеве 13-17 декабря 2021 года, но не достигла консенсуса по запрету. Принятая в 1983 году конвенция регулярно обновляется для ограничения некоторых из самых жестоких видов обычного оружия в мире, включая наземные мины, мины-ловушки и зажигательное оружие.
Автономные системы вооружения - это роботы со смертоносным оружием, которые могут действовать независимо, выбирая и атакуя цели без участия человека, принимающего решения. Военные по всему миру вкладывают значительные средства в исследования и разработки автономного оружия. Только США заложили в бюджет 18 миллиардов долларов США на автономное оружие в период с 2016 по 2020 год.
Тем временем правозащитные и гуманитарные организации стремятся установить правила и запреты на разработку такого оружия. Без таких проверок эксперты по внешней политике предупреждают, что разрушительные технологии автономного оружия опасно дестабилизируют нынешние ядерные стратегии, как потому, что они могут радикально изменить представления о стратегическом доминировании, увеличивая риск упреждающих ударов, так и потому, что они могут сочетаться с самим химическим, биологическим, радиологическим и ядерным оружием.
Автономное оружие создает неустойчивые балансы и фрагментированные гарантии ядерного мира – например, минимально ограниченные полномочия президента США на нанесение удара – более неустойчивыми и более фрагментированными. Учитывая темпы исследований и разработок в области автономного оружия, заседание ООН, возможно, было последним шансом остановить гонку вооружений.
Смертельные ошибки
Есть четыре основные опасности, связанные с автономным оружием. Первая - это проблема неверной идентификации. При выборе цели сможет ли автономное оружие различать вражеских солдат и 12-летних детей, играющих с игрушечными пистолетами? Между гражданскими лицами, покидающими место конфликта, и повстанцами, совершающими тактическое отступление?
Проблема здесь не в том, что машины будут совершать такие ошибки, а люди - нет. Дело в том, что разница между человеческой ошибкой и алгоритмической ошибкой подобна разнице между отправкой письма и твитом. Масштабы и скорость систем роботов–убийц, управляемых одним алгоритмом наведения, развернутым на всем континенте, могут привести к ошибочной идентификации отдельных людей, например, недавний удар американского беспилотника в Афганистане.
Эксперт по автономному оружию Пол Шарре использует метафору "сбежавшего пистолета", чтобы объяснить разницу. "Сбежавший пистолет" - это неисправный пулемет, который продолжает стрелять после нажатия на спусковой крючок. Пистолет продолжает стрелять до тех пор, пока не закончатся боеприпасы, потому что, так сказать, пистолет не знает, что совершает ошибку. Беглые пистолеты чрезвычайно опасны, но, к счастью, у них есть люди-операторы, которые могут разорвать связь с боеприпасами или попытаться направить оружие в безопасном направлении. Автономное оружие, по определению, не имеет такой защиты.
Важно отметить, что вооруженный ИИ даже не обязательно должен быть неисправен, чтобы создать эффект "сбежавшего оружия". Как показали многочисленные исследования алгоритмических ошибок в разных отраслях, самые лучшие алгоритмы, работающие так, как задумано, могут генерировать внутренне правильные результаты, которые, тем не менее, быстро распространяют ужасные ошибки среди населения.
Например, нейронная сеть, предназначенная для использования в больницах Питтсбурга, определила астму как средство снижения риска при пневмонии; программное обеспечение для распознавания изображений, используемое Google, идентифицировало чернокожих людей как горилл; и инструмент машинного обучения, используемый Amazon для ранжирования кандидатов на работу, систематически присваивал женщинам отрицательные баллы.
Проблема не только в том, что, когда системы искусственного интеллекта ошибаются или ошибаются массово. Дело в том, что, когда они ошибаются, их создатели часто не знают, почему они это сделали, и, следовательно, как их исправить. Проблема черного ящика искусственного интеллекта делает практически невозможным представить морально ответственную разработку автономных систем вооружения.
Проблемы распространения
Следующие две опасности - это проблемы распространения низкокачественных и высокотехнологичных продуктов. Давайте начнем с самого низкого уровня. Военные, разрабатывающие автономное оружие, в настоящее время исходят из предположения, что они смогут сдерживать и контролировать применение автономного оружия. Но если история оружейных технологий чему-то и научила мир, так это вот чему: распространению оружия.
Давление рынка может привести к созданию и широкой продаже того, что можно рассматривать как автономный оружейный эквивалент автомата Калашникова: роботов-убийц, которые дешевы, эффективны и их практически невозможно сдержать, поскольку они распространяются по всему миру. Автономное оружие ”Калашников" может попасть в руки людей, неподконтрольных правительству, в том числе международных и внутренних террористов.
Однако распространение высокого класса столь же плохо. Страны могли бы конкурировать в разработке все более разрушительных версий автономного оружия, в том числе способных создавать химическое, биологическое, радиологическое и ядерное оружие. Моральные опасности, связанные с ростом смертоносности оружия, будут усилены ростом применения оружия.
Высококачественное автономное оружие, вероятно, приведет к более частым войнам, потому что оно уменьшит две основные силы, которые исторически предотвращали и сокращали войны: заботу о гражданских лицах за рубежом и заботу о собственных солдатах. Оружие, вероятно, будет оснащено дорогостоящими этическими регуляторами, предназначенными для минимизации сопутствующего ущерба, используя то, что Специальный докладчик ООН Агнес Калламар назвала “мифом о хирургическом ударе”, чтобы подавить моральные протесты. Автономное оружие также уменьшит как потребность, так и риск для собственных солдат, кардинально изменив анализ затрат и выгод, которому подвергаются страны при развязывании и ведении войн.
Асимметричные войны, то есть войны, ведущиеся на территории стран, в которых отсутствуют конкурирующие технологии, вероятно, станут более распространенными. Подумайте о глобальной нестабильности, вызванной военным вмешательством СССР и США во время холодной войны, начиная с первой войны чужими руками и заканчивая ответным ударом, который сегодня ощущается во всем мире. Умножьте это на каждую страну, которая в настоящее время стремится к созданию автономного оружия высокого класса.
Подрыв законов войны
Наконец, автономное оружие подорвет последнюю остановку человечества в борьбе с военными преступлениями и зверствами: международные законы войны. Эти законы, кодифицированные в договорах, принятых еще в Женевской конвенции 1864 года, являются международной тонкой голубой линией, отделяющей войну с честью от резни. Они основаны на идее, что люди могут быть привлечены к ответственности за свои действия даже в военное время, что право убивать других солдат во время боя не дает права убивать гражданских лиц. Ярким примером того, кого привлекли к ответственности, является Слободан Милошевич, бывший президент Союзной Республики Югославии, которому Международный уголовный трибунал ООН по бывшей Югославии предъявил обвинения в преступлениях против человечности и военных преступлениях.
Но как можно привлечь к ответственности автономное оружие? Кто виноват в том, что робот совершает военные преступления? Кто предстанет перед судом? Оружие? Солдат? Солдатские командиры? Корпорация, которая сделала это оружие? Неправительственные организации и эксперты в области международного права опасаются, что автономное оружие приведет к серьезному пробелу в подотчетности.
Чтобы привлечь солдата к уголовной ответственности за использование автономного оружия, совершающего военные преступления, прокурорам необходимо будет доказать как actus reus, так и mens rea, латинские термины, описывающие виновный поступок и виновный разум. Это было бы сложно с точки зрения закона и, возможно, несправедливо с точки зрения морали, учитывая, что автономное оружие по своей сути непредсказуемо.
Юридическая и моральная проблема не облегчается перекладыванием вины вверх по цепочке командования или обратно на место производства. В мире, где нет правил, предписывающих осмысленный контроль человека над автономным оружием, будут совершаться военные преступления без привлечения военных преступников к ответственности. Структура законов войны, наряду с их сдерживающим значением, будет значительно ослаблена.
Новая глобальная гонка вооружений
Представьте себе мир, в котором военные, повстанческие группировки и международные и внутренние террористы могут применять теоретически неограниченную смертоносную силу при теоретически нулевом риске в любое время и в любом месте по своему выбору, без какой-либо юридической ответственности. Это мир, где неизбежные алгоритмические ошибки, от которых страдают даже такие технологические гиганты, как Amazon и Google, теперь могут привести к уничтожению целых городов.
На мой взгляд, мир не должен повторять катастрофических ошибок гонки ядерных вооружений. Планета не должна впасть в антиутопию.