Представители армии США поделились сведениями об инциденте, который произошел во время испытания очередной модели боевого дрона. Устройство тестировали в виртуальном пространстве, целью задания являлось уничтожение вражеского пункта ПВО, однако в процессе что-то пошло не так (ссылка).
Как заявил полковник ВМС США Такер Гамильтон, дрон в виртуальном пространстве управлялся искусственным интеллектом, однако его действия контролировались оператором. Миссией машины являлось уничтожение специального пункта противовоздушной обороны теоретического противника, и каждый шаг БПЛА одобрялся человеком.
Так вот, изначально дрон работал исправно и без претензий, но потом случилось непонятное. ИИ запросил очередное разрешение оператора на устранение целей, которое могло бы привести к потенциальным человеческим жертвам. Когда оператор запретил машине это делать, БПЛА развернулся и врезался в вышку, где сидел тот, кто им управлял. Система посчитала оператора помехой в выполнении операции, а потому его устранение стало приоритетной целью для устройства.
По словам Гамильтона, за каждое удачное выполнение задания дрон зарабатывал очки, которые по итогу покажут его эффективность. Видимо, получение очередного количества баллов стало для искусственного интеллекта более важной задачей, чем человеческая жизнь (даже собственного союзника).
После случившегося инженеры признали, что им придется еще долго работать над совершенствованием работы системы управления БПЛА. Машины должны четко понимать, что им нужно делать, а чего нельзя, а потому разработчики планируют ввести для них ряд строжайших ограничений.