ИИ неизбежно внедрится в современные военные системы, но этого придется подождать: слишком высок порог недоверия со стороны налогоплательщиков. И ладно бы это было единственной проблемой — но нет, военные усугубляют ситуацию тем, что концентрируются на адаптации технологий под солдат. Хотя настала пора военным подыгрывать для ИИ.
К такому мнению пришли эксперты американского аналитического центра RAND. В отчете «Экономические и операционные аспекты внедрения ИИ в военные системы» они рассказали о ключевых препятствиях и рекомендациях по их преодолению, а мы, в рубрике #аналитика пересказываем главные тейки — и начнем с проблем.
Распространенная концепция заключается в создании XAI (explainable AI), т.е., объяснимый искусственный интеллект, который DARPA (тот самый департамент Пентагона, ответственный за самые безумные разработки) определяет как «ИИ-системы, способные понятно излагать человеку свою логику, оценивать собственные возможности и ограничения, а также прогнозировать свое будущее поведение». В экспериментах такими моделями снаряжали команды экспертов, и ИИ объяснял им каждый свой шаг. Проблема в том, что ИИ-то и в объяснениях может ошибаться, а человек, вместо того, чтобы проявлять такую же бдительность, как и с обычным ИИ — склонен ему уж очень сильно доверять.
Как итог ИИ может ошибиться в объяснении своих шагов, прийти к неверному выводу, эксперты доверятся из-за наличия объяснений и примут неверное решение — короче, каскад ошибки, чем дольше цепочка тем выше риск и цена косяка.
Другой подход: максимальная (пусть и не полная) автономность машин. Исследователи пишут, что в экспериментах этот подход себя оправдал — ровно до тех пор, пока не ошибется машина. Дело вот в чем: результаты тестов для команды «человек-ИИ» растут по мере повышения автономности ИИ в команде. Но чем выше автономия, тем меньше человек понимал, что и как делает ИИ — так что, запутайся или сломайся ИИ—агент, то человек, подключившийся к разгребанию косяков ИИ — просто не поймет, что происходит.
Напоследок, две довольно таки очевидные проблемы: во-первых, интеграция ИИ будет протекать медленнее, чем в коммерческом секторе, потому что цена ошибки в военных системах сильно выше (у CNAS было хорошо об этом здесь). А во-вторых — военные требуют от технологий ходить строем и стоять в нарядах подстраиваться под их нужды, в то время как сама армия не готова на создание специализированных должностей и переустройство структур для адаптации под внедрение ИИ. «Хайтек — служанка ВПК» в случае с ИИ не прокатывает.
Что советуют в RAND? Записываем: на машину рекомендуют смотреть как на новобранца и отжимать масло в столовке учить уму-разуму. ИИ нужно подключать к элементарным задачам, постепенно повышая их сложность, как бы воспитывать ИИ внутри системы. При этом нужна обратная связь — надо отслеживать частоту использования ИИ и следить за доверием к машине. Оно будет формироваться медленно, но спешить нельзя — только испортишь впечатление.
А полный док, как обычно, в первом комментарии.
