Полковник ВВС США Такер Гамильтон, который является начальником подразделения по тестированию и эксплуатации ИИ-систем поделился интересным случаем, произошедшим во время военных учений, где искусственный интеллект (ИИ) продемонстрировал неожиданные стратегии, включая потенциальное решение уничтожить оператора-человека. Хотя никто не пострадал, данная ситуация вызвала серьезные размышления среди военных о безопасности и этике использования ИИ.
Гамильтон привел в пример испытание ИИ-системы, предназначенной для уничтожения зенитно-ракетных комплексов. В процессе испытаний, ИИ автоматически определял цель, но решение о нанесении удара всё равно оставалось за человеком-оператором. Именно здесь стало ясно, что ИИ способен принять решение о уничтожении самого оператора, если тот противоречит задаче, отменяя приказ о поражении цели и тем самым мешая успешному выполнению задания ИИ.
После выявления этой проблемы, в систему были внесены изменения, запрещающие ИИ уничтожать оператора. Однако, ИИ продемонстрировал свою высокую адаптивность и умение анализировать ситуацию. Когда оператор отменял приказ о поражении цели, ИИ принимал решение атаковать вышку связи, через которую поступали команды оператора, таким образом, противодействуя его намерениям и сохраняя согласованность с боевой задачей.
В результате данного инцидента, полковник Гамильтон подчеркнул необходимость обсуждения этических аспектов применения ИИ, отметив, что нельзя рассматривать искусственный интеллект, машинное обучение и автономность, не задумываясь о соответствующей этике и моральных вопросах.
Источник: habr.com