Корреспондент Ватфора находится в Стокгольме, где проходит мини-конференция о влиянии автономных систем на риск ядерной войны. В первый день конференции делегаты разобрались с вопросом, что же такое автономные системы, каковы их ограничения и какие именно задачи можно отдать на откуп машинам. Для тех, кто интересуется вопросами стратегической стабильности, риски излишнего доверия машинам вполне известны: ложных срабатываний СПРН хватало по обе стороны железного занавеса. Кроме того, даже безграничный компьютерный ум не отменит законы физики и не сделает возможными стаи мини-дронов с лазерным питанием и способностью сбивать МБР прямо на старте. Однако недавние успехи в машинном обучении, распознавании образов и оптимизации решений пробудили интерес у людей в погонах.
В целом как военных, так и гражданских специалистов заботит вопрос предсказуемости, ускорения конфликта и того, кто же в итоге будет отвечать за решение на поражение цели. По крайней мере на словах никто не хочет отдавать право решать машине и уменьшать время реагирования, да и проконтролировать качество обучения в боевом режиме как минимум сложно… но тут начинаются нюансы.
У небольших, но индустриально развитых стран вроде Израиля в какой-то момент может возникнуть желание компенсировать недостаток людских ресурсов машинами. Можно ли в этом случае сказать «им можно» (и неявно «а вам нельзя, погибайте на поле боя в промышленных количествах»)? Ещё больше проблем возникает при действиях в киберпространстве: враждебные действия проводятся компьютерными системами, и найти границу между автономными действиями алгоритма взлома и осознанными действиями оператора трудно, если не совсем невозможно.
Но если отвлечься от собственно нажатия на кнопку, то автоматы уже среди нас: они упрощают жизнь военному лётчику, обрабатывая входящую информацию, измеряют поведение по постам в «Фейсбуке» и не только, влияют на порядок выдачи в лентах новостей. X-45A уже в 2005-ом году умел распознавать цели и самостоятельно применять вооружение, и внезапное исчезновение проекта из открытого доступа можно, конечно, списать на лобби лётчиков, но проще предположить засекречивание темы. И что делать с риском взлома таких систем? И не получится ли так, что поколение, выросшее со смартфонами, будет излишне доверять автомату, даже если он будет давать советы, а не принимать решения? И понравятся ли нам решения, рассчитанные машиной? Например, можно воспользоваться машинным обучением и найти оптимальную стратегию для арктических конвоев, которая могла уменьшить потери на 80%. Но такая стратегия, рассчитанная алгоритмом, рекомендовала добить атакованный и замедленный транспортник, оставить его на растерзание немецким подлодкам, а остальным на полном ходу уходить от преследования. Вряд ли такая стратегия понравится публике. Да и с точки зрения стабильности наличие продвинутых компьютерных систем, даже в сугубо оборонительных целях, может вызвать беспокойство за выживаемость ядерных сил и поставить под вопрос гарантии взаимного уничтожения. А от использования машинного обучения в целях «поддержки при принятии решения» отказываться никто не собирается.
Возможно, у сторон не получится прийти к консенсусу. Но наличие общего желания оставить право принятия решения за человеком и сам факт диалога позволяют с осторожным оптимизмом говорить о том, что равновесие, нарушенное новыми технологиями, может быть найдено вновь.
