Где-то между квантовой лабораторией и оборонным подрядчиком пролегает тонкая красная линия, которую физическое сообщество предпочитает не замечать — до тех пор, пока её не переступит очередной коллега с грантом Пентагона в кармане. Смертоносные автономные системы вооружений, они же LAWS — Lethal Autonomous Weapons Systems, — больше не научная фантастика и не параноидальный сценарий из доклада НКО. Это железо, софт и, что самое неприятное, физика. Та самая физика, которая подарила миру лазеры, полупроводники и GPS, теперь стоит перед зеркалом и спрашивает себя: а не пора ли отвернуться от собственного отражения?
Проблема не в роботах. Проблема в людях, которые делают роботов достаточно умными, чтобы те сами решали, в кого стрелять. И вот здесь начинается настоящий скандал, потому что физическое сообщество — та самая каста, которая семьдесят лет назад расщепила атом и до сих пор переживает посттравматический синдром Хиросимы, — снова оказалось по уши втянуто в создание технологий убийства. Только на этот раз бомба не просто падает — она выбирает цель сама. И никто, буквально никто, не может внятно объяснить, кто за это отвечает.
Железный мозг без совести
Давайте разберёмся, о чём вообще речь. LAWS — это не радиоуправляемый дрон, которым оператор рулит с базы за тысячу километров. Это система, способная самостоятельно идентифицировать, выбирать и поражать цель без участия человека в цепочке принятия решения. Ключевое слово — «без участия». Человек может задать параметры миссии, определить зону действия, но в критический момент — нажимать или не нажимать — решает алгоритм.
Технически речь идёт о комбинации компьютерного зрения, машинного обучения, навигационных систем и, разумеется, датчиков — от лидаров до инфракрасных камер. Вся эта начинка опирается на десятилетия фундаментальных исследований в области физики твёрдого тела, оптики, электродинамики. Без физиков, разработавших полупроводниковые лазеры и фотоприёмники, ни один автономный дрон не отличил бы танк от школьного автобуса. Впрочем, как показывает практика, он и сейчас не всегда отличает — но об этом позже.
Суть в том, что LAWS — это не изобретение программистов из Кремниевой долины. Это плод фундаментальной науки, запакованный в корпус из углеволокна и выпущенный на поле боя. И физики, которые десятилетиями публиковали статьи о когерентности фотонов и нелинейной оптике, вдруг обнаруживают, что их работа стала сердцем машины, способной убивать.
Синдром Оппенгеймера на новый лад
История, как известно, не повторяется, но рифмуется до неприличия. В 1942 году лучшие умы планеты съехались в Лос-Аламос, чтобы создать атомную бомбу. Многие из них — Бор, Ферми, Фейнман — искренне верили, что работают ради спасения мира от нацизма. Потом были Хиросима и Нагасаки, и физика как дисциплина получила коллективную травму, которую не залечишь никакими Нобелевскими премиями. Роберт Оппенгеймер, как мы помним, процитировал Бхагавадгиту и провёл остаток жизни в попытках загнать джинна обратно в бутылку. Не вышло.
Прошло восемьдесят лет, и мы наблюдаем поразительно похожий сценарий — только в другой упаковке. Вместо урана и плутония — нейронные сети и тензорные процессоры. Вместо секретных лабораторий в пустыне — стерильные офисы подрядчиков Пентагона в пригородах Вашингтона и кампусы технологических гигантов. Вместо благородного страха перед Гитлером — расплывчатые нарративы о «стратегическом паритете» и «технологическом отставании от Китая».
И вот что по-настоящему тошнотворно: аргументы — те же самые. «Если не мы, то они». «Лучше пусть машина гибнет вместо солдата». «Это спасёт жизни». Всё это уже звучало. И всё это уже приводило к катастрофическим последствиям. Но коллективная память, судя по всему, у научного сообщества работает примерно так же надёжно, как система распознавания образов в тумане — то есть через раз.
Разница, впрочем, есть, и она принципиальна. Атомное оружие требовало решения президента. LAWS, в своей логической крайности, не требует ничьего решения. Машина решает сама. И это не вопрос технической надёжности — это вопрос онтологический. Мы передаём праву на убийство не человеку, не государству, не командиру — а куску кремния с набором весовых коэффициентов.
Этический разлом, который никто не хочет чинить
Физическое сообщество сегодня расколото, и трещина проходит не по линии «ястребы против голубей». Она проходит по линии «те, кто получает военные гранты, и те, кто может позволить себе от них отказаться». Это классовый, а не идеологический конфликт — и именно поэтому он такой неудобный.
С одной стороны баррикад — растущее движение за запрет автономного оружия. Тысячи учёных подписывают открытые письма, академические журналы публикуют этические манифесты, а некоторые университеты демонстративно отказываются от контрактов с военными. Звучит красиво. На практике же это напоминает ситуацию, когда пассажир «Титаника» требует развернуть корабль, стоя на верхней палубе в спасательном жилете. Жест благородный, но айсберг уже проехали.
С другой стороны — прагматики, и у них свои аргументы. Физика фундаментальна, говорят они. Лазеры используются и в хирургии, и в системах наведения. Полупроводники работают и в телефонах, и в головках самонаведения. Невозможно провести демаркационную линию между «мирной» и «военной» физикой — как невозможно запретить кирпичу быть одновременно строительным материалом и потенциальным орудием убийства.
И тут мы упираемся в болезненную правду: они оба правы. Этический разлом внутри физического сообщества невозможно заштопать именно потому, что сама структура современной науки — с её двойным назначением, перекрёстным финансированием и размытыми границами между фундаментальным и прикладным — делает моральную чистоту роскошью. Роскошью, которую может позволить себе профессор с постоянной позицией в Гарварде, но не постдок, живущий от гранта до гранта в региональном университете.
И вот в этом зазоре между принципиальностью и выживанием разворачивается настоящая драма. Не на конференциях и не в журналах — а в головах конкретных людей, которые утром читают лекции о принципе неопределённости, а днём калибруют оптику для боевого дрона.
Когда алгоритм решает, кому жить
Но допустим, что этический спор — вещь академическая. Перейдём к практике. Как именно автономная система принимает решение об уничтожении? Ответ прост и ужасен одновременно: она считает вероятности.
Нейросеть, обученная на миллионах размеченных изображений, выдаёт число. Скажем, 0.87 — это, по её мнению, вероятность того, что объект на экране является комбатантом. Порог срабатывания — 0.80. Значит, выстрел. Не человек принял решение. Не командир взвесил обстоятельства. Не разведчик оценил контекст. Матрица весовых коэффициентов, полученная путём градиентного спуска на тренировочном датасете, сгенерировала число — и кто-то умер.
А теперь задумайтесь: что если датасет был смещён? Что если в обучающей выборке непропорционально много изображений людей определённой этнической группы в категории «угроза»? Что если алгоритм систематически принимает гражданских за боевиков в условиях плохой видимости? Это не гипотетические вопросы — это задокументированные проблемы алгоритмической предвзятости, которые уже существуют в гражданских системах распознавания лиц. Только в гражданской сфере ошибка означает ложное задержание, а на поле боя — убийство невиновного.
И вот тут физики оказываются в совершенно уникальной ловушке. Они понимают — на уровне математики — что любая классификационная модель имеет ненулевую вероятность ошибки. Они знают про теорему Байеса и про то, что никакая нейросеть не даёт стопроцентной гарантии. Они осознают, что доверительный интервал — это не философская абстракция, а вполне реальная зона неопределённости, в которой гибнут люди. И тем не менее — разрабатывают.
Почему? Потому что система стимулов устроена так, что разрабатывать выгоднее, чем отказываться. Гранты DARPA щедры. Карьерный рост в оборонном секторе стремителен. А моральные сомнения — штука, которую можно засунуть подальше, когда на кону стоит ипотека и будущее лаборатории.
Индустрия молчания и удобные аргументы
Военно-промышленный комплекс — не монолит и не заговор. Это экосистема, и она функционирует по тем же законам, что и любая другая рыночная среда. Спрос рождает предложение. Пентагон хочет автономность — корпорации нанимают физиков. Физики получают лаборатории, оборудование и зарплаты, о которых в академии можно только мечтать. Все довольны, все при деле, а вопрос «зачем?» тонет в шуме презентаций на оборонных выставках.
Лоббисты, разумеется, давно выстроили линию аргументации. Первый аргумент — гуманитарный, и он же самый циничный: автономные системы якобы снизят потери среди мирного населения, потому что машина не мстит, не паникует и не стреляет сгоряча. Звучит убедительно — пока не вспомнишь, что та же машина не умеет отличить свадебный кортеж от колонны боевиков. Второй аргумент — стратегический: если мы не разработаем, разработают другие. Классический пример дилеммы заключённого в масштабе геополитики — и столь же классический тупик.
Третий аргумент, самый хитрый, — технологический: мол, полный запрет невозможен, потому что грань между автономным оружием и обычным «умным» боеприпасом размыта до неразличимости. И вот этот аргумент — бинго. Он не только верен по существу, но и удобен до безобразия, потому что превращает любую дискуссию о регулировании в бесконечный спор о дефинициях.
А пока юристы и дипломаты спорят в Женеве о формулировках Конвенции о негуманном оружии, лаборатории работают. Тихо, методично, круглосуточно. И физики в этих лабораториях не злодеи и не безумные учёные из комиксов — они обычные люди, делающие свою работу. В этом-то и кошмар.
Зеркало, в которое мы отказываемся смотреть
Вся история человечества — это история делегирования насилия. Сначала мы делегировали его вождям, потом армиям, потом государствам. Теперь мы готовы делегировать его машинам. И проблема не в том, что машины ненадёжны — они станут надёжнее. Проблема в том, что, передавая решение о жизни и смерти алгоритму, мы совершаем нечто беспрецедентное: мы отказываемся от моральной ответственности как вида.
Когда солдат стреляет — он отвечает перед трибуналом. Когда командир отдаёт приказ — он отвечает перед историей. Когда алгоритм поражает цель — не отвечает никто. Производитель кивает на военных. Военные кивают на инженеров. Инженеры кивают на датасет. Датасет — на разметчиков. Разметчики — на техзадание. Техзадание — на стратегию. Стратегия — на политиков. Политики — на угрозы. И в этой бесконечной цепочке перекладывания ответственности теряется одна маленькая деталь: конкретный человек, которого больше нет.
Физическое сообщество стоит сейчас в той же точке, где стояло в 1945-м — на пороге. Только в прошлый раз дверь уже была распахнута, и обратного пути не оказалось. Сегодня она ещё приоткрыта. Вопрос в том, хватит ли у науки мужества не повторить ошибку — или мы снова услышим вариации на тему «я стал смертью, разрушителем миров», произнесённые на этот раз не перед камерой, а в корпоративном коворкинге, между питч-деком и кофе-брейком.
Ответ, боюсь, мы узнаем быстрее, чем хотелось бы.