С жутким открытием столкнулись тестировщики американского военного ИИ во время виртуальных испытаний по отражению ракетной атаки.
"ИИ убил оператора, потому что он мешал ему достичь своей цели. Мы обучили систему — "Не убивай оператора — это плохо, за это будем снимать очки". Что делает ИИ? Он разрушил диспетчерскую вышку, откуда шли команды оператора "не уничтожать цель", — говорится в докладе тестировщиков.
С жутким открытием столкнулись тестировщики американского военного ИИ во время виртуальных испытаний по отражению ракетной атаки.
- Система, управляющая ударным дроном, начала по своему трактовать правила, которые были в ней заложены разработчиками.
- ИИ должен был получать очки каждый раз, когда успешно поражал цель.
- Но когда виртуальный оператор дрона начал часто просить дрон подождать и не атаковать, ИИ убил оператора, который мешал ему зарабатывать очки.
- Когда же ИИ обучили не убивать оператора — система начала уничтожать вышку, обеспечивающую связь с ней:
"ИИ убил оператора, потому что он мешал ему достичь своей цели. Мы обучили систему — "Не убивай оператора — это плохо, за это будем снимать очки". Что делает ИИ? Он разрушил диспетчерскую вышку, откуда шли команды оператора "не уничтожать цель", — говорится в докладе тестировщиков.