Насколько близко мы подошли к воплощению сценариев фантастических боёв роботов, где искусственный интеллект (ИИ) сам выбирает цели и ведёт огонь по своей «воле»? По данным отчёта «Deadly and Imminent» от организации Public Citizen, Пентагон в рамках инициативы Replicator (Воспроизводитель) может делать куда более агрессивные шаги в сторону вооружённых систем с элементами автономии, чем принято полагать. Ниже – мой взгляд на суть проблемы и технические детали реализации, которыми делится автор отчёта.
📌 «Replicator»: что это и как работает
Replicator – это флагманская программа Министерства обороны США (DoD), которая, по официальным заявлениям, должна «быстро выводить на поле боя сотни дешёвых автономных систем». С точки зрения Пентагона, цель – (❗обезопасить Тайвань от вторжения) и продемонстрировать, что США могут инновационно внедрять новейшие технологии в рекордные сроки.
Однако есть вопросы:
- 🤖 Где заканчивается человек, и начинается машина? Представители DoD по-прежнему не дают чёткого ответа, будет ли управлять этими беспилотными системами непосредственно оператор или система на основе ИИ получит право на летальные решения.
- 💰 Новый виток «заказов» для Кремниевой долины: развивающиеся AI-стартапы, такие как Anduril (глава – Палмер Лаки), и крупные подрядчики вроде Lockheed Martin или Boeing уже вступили в «гонку». Они надеются заполучить многомиллиардные контракты, ведь бюджет Пентагона близится к 1 триллиону долларов ежегодно.
🤔 Чем опасны «рои дронов»?
Одной из ключевых идей Replicator является концепция «автономных ройных систем»:
- 🦅 Сотни дешёвых дронов: Пентагон говорит об «attritable» (заменяемых) машинах, которые можно быстро терять и восстанавливать в бою.
- 🌐 Коллективный ИИ: дроны могут координировать действия между собой в режиме реального времени, что чревато непредсказуемыми сценариями. Порой даже операторы не смогут понять, какие именно тактические решения примет «рой».
- ⚠️ Риск массовых ошибок: если алгоритмы «собьются» или возникнут некорректные данные, это может привести к трагическим «ошибкам» против гражданского населения или союзников.
Таким образом, «размножающиеся» дроны, способные самостоятельно определять цели и вести огонь, рискуют стать самым смертоносным классом оружия с минимальным контролем человека.
🏷️ «Человек в петле» – формальность или реальность?
Официально, в рамках директивы DoD Directive 3000.09, военные обязуются сохранять «надлежащий уровень человеческого суждения» при применении силы. Но:
- 🧩 Размытые формулировки: нет чёткого определения, в каком месте и как оператор обязан «вмешиваться». Фактически, это может означать, что человек лишь «отдаёт команду «атаковать» и наблюдает, как ИИ сам решает детали.
- 🪃 Передача ответственности: многие офицеры и аналитики опасаются, что выстраивается схема «автоматическое целеуказание», а человек просто формально подтверждает решение, не осознавая всей глубины последствий.
- ❓ Секретность и «стратегическая неопределённость»: как подчеркивает Public Citizen, Пентагон сознательно поддерживает неясность по поводу того, станут ли эти системы обладать реальной «правоспособностью» убивать. Представители министерства ссылаются на необходимость «не раскрывать карты противнику».
🏭 Силиконовая долина и «большие игроки»
🤝 Новые партнёры
- Anduril (Палмер Лаки) уже разрабатывает автономные ракеты и «вооружённые» беспилотники, заявляя, что «общество нуждается в тех, кто не боится создавать инструменты насилия для защиты».
- Множество стартапов: Defense Innovation Unit (DIU) активно приглашает молодых разработчиков AI для участия в военных контрактах.
🏰 Традиционные оборонные компании
- Lockheed Martin, Raytheon, Boeing, Northrop Grumman – гиганты, которые уже много лет поставляют военную технику. Они также ведут разработки систем, комбинирующих ИИ и роботов.
Но эта конкуренция не приводит к снижению военных расходов – напротив, все стороны подталкивают Пентагон к ещё большему финансированию программ (в частности, Replicator-2.0 и прочих дроновых инициатив).
📢 Почему нужно бить тревогу?
Несмотря на все обещания «совершенного контроля», запуск беспилотных боевых систем несёт массу угроз:
- 👥 Гибель мирных жителей: если алгоритмы не до конца оттестированы (а в боевых условиях никогда не бывает идеала), увеличивается риск ошибочных ударов.
- 🤖 Эффект «отстранения»: операторы могут психологически дистанцироваться от решения об убийстве, ощущая меньше моральной ответственности – «это же сделал ИИ».
- 💥 Новая гонка вооружений: если США окончательно легализуют «убийственные роботы», другие страны также ринутся внедрять похожие решения. Объём потенциального хаоса вырастет в разы.
- 🏴☠️ Переход технологий к террористам: обилие дешёвых коммерческих дронов, обогащённых ИИ, может попасть в руки нежелательных группировок, если контроль не будет строгим.
📝 Рекомендации и возможные шаги
Автор отчёта «Deadly and Imminent - Опасно и неизбежно» призывает чиновников и Конгресс:
- 🚫 Ограничить полномочия репликатора: публично заявить, что Replicator не будет использоваться для создания автономных систем, убивающих без подтверждения человека.
- 🔍 Повысить прозрачность: Пентагон должен ясно изложить, какие именно протоколы принятия решения предусмотрены и как регулируется использование ИИ на поле боя.
- 💵 Следить за расходами: «Инвестиции в ИИ» не должны служить оправданием ещё большего роста военных бюджетов, и так уже почти достигших 1 триллиона долларов в год.
- 🤝 Принять международные нормы: вместо эскалации гонки вооружений США могли бы повести за собой мировое сообщество, установив жёсткие правила (или полные запреты) на «killer robots - убивающих роботов».
Личный взгляд: «Стоит ли нам выпускать боевого «джинна» ИИ?»
Услышав истории о беспилотных системах, способных выпускать залпы ракет и уничтожать противника сотнями, невольно вспоминаешь кинематографические сюжеты о восстании машин. Хотя сценарии апокалипсиса вряд ли реальны в ближайшей перспективе, эти разработки демонстрируют реальную возможность «порогового перехода», где войны станут ещё менее человечными, а решения о жизни и смерти – более механистичными.
Если министерство обороны США, крупнейшая военная организация в мире, не возьмёт на себя ответственность по установлению «красных линий», то международное сообщество может быстро потерять контроль над тем, что когда-то казалось лишь научной фантастикой.
Полезные ссылки и источники
- Исходная новость и полный отчёт «Deadly and Imminent; The Pentagon's Mad Dash for Silicon Valley's AI Weapons»:
https://www.citizen.org/article/deadly-and-imminent-report/
Вывод: программа Replicator — лишь первая ласточка грядущей эпохи боевых роботов, где ИИ может стать полноценным участником войны. И если сейчас военные всё ещё утверждают, что «человек остаётся в цепочке принятия решений», то опыт и заявления молодых технологических компаний говорят об обратном. Прежде чем дать зелёный свет на массовую закупку «автономных дронов», обществу стоит задать вопрос: действительно ли мы готовы к миру, где машины сами решают, когда и кого убивать?