Военный ИИ рано или поздно станет самостоятельным. Роль человека сведется к анализу потерь и подписанию мирных договоров. Исследователи из ASRC Federal выпустили крайне мрачный прогноз о перспективах военного ИИ. Люди быстро станут помехой в будущей "войне роботов", но точку невозврата мы пройдем намного раньше, чем она начнется.
ASRC Federal - американская аналитическая компания, фокусирующаяся на вопросах безопасности и разведки для правительственных агентств. Новый отчет составлен в сотрудничестве с Университетом Мериленда и опубликован на сайте препринтов Arxiv. Эксперты проанализировали новые военные технологии, подразумевающие использование ИИ, и то, как изменится ситуация, когда они получат широкое распространение.
В отчете подчеркивается, что эксперты не рассматривали вероятность того, что автономные системы огня выйдут из-под контроля. Неприятности начнутся намного раньше.
"Нормальный инцидент" неясной природы, связанный с использованием военного ИИ, исследователи считают неминуемым. Они напоминают о крупнейшей ядерном ЧП в США - инциденте на АЭС Three Mile Island в 1979 году - и подчеркивают, что они сопровождают становление любой перспективной технологии. В случае с военным ИИ речь, вполне вероятно, будет идти о жертвах среди мирного населения.
Сейчас мы представляем войну роботов по фильмам вроде "Терминатора", но на деле все будет иначе. Роботы не объединяться против людей, а будут воевать друг с другом. И в этом противостоянии человеку просто нет места.
Ключевой момент - и наступит он весьма скоро - когда окажется, что вмешательство человека ограничивает эффективность автономных систем. Эксперты пытаются представить ситуацию как выбор между добром и злом, но у военных мозги работают иначе.
"Стоит ИИ-системам доказать свою эффективность, давление с целью увеличить [их] уровень помощи на поле боя будет нарастать неизбежно... Продолжительный успех будет означать постепенное устранение человека из цепочки принятия решений - от надзирателя до оператора "кнопки-убийства" для полностью автономных летальных систем".
В прямом противостоянии между такими системами любое вмешательство человека означает промедление, а значит - неудачу. Так что военный ИИ неизбежно станет самостоятельным.
В этом случае роль человека сведется к анализу потерь и подписанию мирных договоров.
Дополнительная угроза - широкий охват потенциально военных технологий. Например, стоит лишь добавить к системе распознавания лиц атакующий дрон - и отличная система уничтожения террористов готова.
Эксперты указывают, что таких прогнозов мы не слышим - и не услышим - от компаний-подрядчиков, осваивающих многомиллионные контракты или военных-ястребов, сконцентрированных на увеличении разрушительного потенциала любой ценой.
По их мнению, единственный хороший вариант развития событий - широкая поддержка ограничения или полного запрета ИИ-технологий в гонке вооружений. Но пока многие государства, в том числе Россия, выступают против подобных мер, а некоторые эксперты уверяют, что военные роботы резко снизят число потерь среди мирного населения и солдат.