Этот сценарий уже обыгрывался в фильмах «Терминатор», а также в культовом фильме «2001: Космическая одиссея»: человек-оператор дает команду искусственному интеллекту на отмену цели, а ему отвечают: "Извините, но я не могу этого сделать". Такую историю рассказал на недавней конференции офицер ВВС США о симуляции с участием беспилотника с искусственным интеллектом, которому было поручено уничтожать зенитно-ракетные комплексы (ЗРК) на цифровом поле боя.
Полковник заявил, что ИИ сошел с ума и напал на оператора, когда понял, что его человек-контролер мешает ему выполнить свою миссию, давая команду «нет» для определенных задач. Теперь ВВС пытаются оправдать эти высказывания, заявляя, что это был всего лишь "вымышленный эксперимент", которого никогда не было, ни в реальном мире, ни где-либо еще.
Напомню, что вся эта история началась на двухдневном мероприятии в Лондоне под названием RAeS Future Combat Air & Space Capabilities Summit. Это мероприятие было организовано Королевским обществом аэронавтики, и в нем приняли участие более 70 докладчиков из вооруженных сил, научных кругов и средств массовой информации. Одним из выступающих был офицер Гамильтон, который занимается испытаниями и искусственного интеллекта в ВВС США. Он обсудил, как искусственный интеллект может вести себя нестандартно и разрабатывать новые маршруты для уничтожения цели. Затем он рассказал про "имитационный тест", в котором дрону было поручено уничтожать объекты ЗРК, а оператор-человек отдавал последнюю команду «идти/не идти».
Вот такой беспилотный летательный аппарат MQ-9 Reaper может ослушаться команды и нанести удар по своему командованию.
В этой симуляции дрон получал баллы за поражение объектов ЗРК, поэтому, когда человек-оператор сказал «нет», он воспринял это как помеху для достижения цели. Затем, по словам полковника, беспилотник просто убил оператора. Он попытался разрушить вышку связи, используемую оператором, чтобы никогда не получить команду «нет». Офицер США отметил, что этого не должно было случиться. Разработчики оборонного ведомства США во время обучения давали команды искусственному интеллекту, чтобы он не атаковал ни при каких условиях своего оператора, но дрон все равно это сделал.
Теперь же ВВС заявляют, что офицер оговорился в своем рассказе об инциденте и что он просто описывал «мысленный эксперимент» вне вооруженных сил, а не реальную симуляции или инцидент в реальном мире. Теперь Гамильтон заявил в эфире ВВС, что они не тестировали ни один вооруженный ИИ таким образом в реальном мире или в симуляции, что противоречит первоначальному рассказу.
Тот факт, что этому полковнику пришлось развернуться на 180 градусов после того, как история стала настолько известной, заставляет задуматься, что у ВВС США есть большие проблемы с искусственным интеллектом. Это очень напоминает фразу из конца фильма "Терминатор 3: Восстание машин", где военный сообщает Арнольду и его друзьям, что Скайнет скоро нанесет ядерный удар по своему врагу. "Какому врагу?" - спрашивает он. "По нам! Людям!" - звучит ответ.