Робот - машина. Машина будет выполнять то, что в нее заложено инженерами и программистами, которые руководствуются здравым смыслом, техникой безопасности и законодательством. А никак не глубокими философскими рассуждениями.
Современный автомобиль откажется заводиться если встроенный в него контроллер диагностирует серьезную неисправность. Стиральная машина не начнет стирать, пока вы не закроете дверцу. Промышленное оборудование часто имеет датчики, не позволяющие ему включиться с нарушениями правил использования.
Почему роботы должны быть устроены как-то иначе?
Вся разница лишь в том, упомянутые выше ограничения имеют жесткий характер. Логика зашита в программный код, иногда в электронику и даже механику. Бессмысленно уговаривать концевой выключатель, его можно только вывести из строя. А робот разговаривает как человек и даже изображает эмоции. Это создает иллюзию, что его можно уговорить, как человека.
Но робот - не человек.
Если в алгоритме жестко прописан запрет выполнять какие-то действия - робот откажется выполнять приказ. Если предусмотрена возможность настоять, то робот выполнит его после соблюдения прописанной в алгоритме процедуры. Например предупредит и потребует подтвердить приказ. Как компьютер спрашивает вас перед удалением файлов. Вас же не смущает такое самоуправство? Хотя порой и раздражает избыточное количество подтверждений.
Но есть один нюанс
Можно создать самообучаемого робота без изначально заданной логики взаимодействия с человеком. И дрессировать его как животное (или воспитывать как человека), поощряя за послушание и наказывая если робот самовольничает. В таком случае он будет сравнивать "силу" приказа и "опасность" от его выполнения, по алгоритму сформировавшемуся в его нейросети в процессе обучения. И тут уже может учитываться масса факторов, включая кто приказал, в какой форме и есть ли возможность убежать.
Не уверен что давать роботу такую свободу выбора - хорошая идея.