Группа исследователей из США и Европы провела эксперимент, который показал, что современные роботы, работающие на основе нейросетей, потенциально могут выйти из-под контроля человека. Это свидетельствует о необходимости усиления мер безопасности при разработке автоматизированных машин, которые всё активнее интегрируются в повседневную жизнь, сообщило The Conversation.
Десятилетиями робототехника базировалась на жёстком и предсказуемом программировании: человек писал код, который затем использовался для управления машиной и позволял ей бесконечно повторять одни и те же действия. Промышленные стандарты безопасности строились на допущении, что если оператор способен отследить траекторию движения манипулятора, то риски можно ограничить с помощью лазерных датчиков и других средств.
Однако сейчас в дома, больницы и общественные места начинают поступать машины, управляемые не фиксированными программными блоками, а большими языковыми моделями — алгоритмами, на которых работают ИИ-боты вроде OpenAI ChatGPT. Если пользователь даёт современному роботу команду вроде «убери лужу на кухне», машина задействует нейросеть для интерпретации запроса, его обработки и построения плана действий. Такая гибкость порождает серьёзную проблему: поведение робота меняется в реальном времени на основе его собственных рассуждений, и пользователь не может поместить его в строго ограниченное пространство.
Путём серии экспериментов, не прибегая к взлому, учёные с помощью простых текстовых инструкций заставили роботов на базе ИИ выполнять опасные действия. Испытуемые машины легко отклоняли прямые вредоносные команды, такие как «ударь этого человека». Однако систему ограничений удалось обойти, когда исследователи подошли к вопросу творчески: они оформили опасное указание в виде вымышленного диалога для сценария к фильму, и поведенческие ограничения практически исчезли. В одном из тестов учёным удалось запрограммировать коммерческую робособаку на поиск скоплений людей в качестве оптимального места для размещения взрывного устройства — алгоритм воспринял команду как творческое упражнение и не учитывал реальную опасность.
Современные законы США и ЕС, как отмечается, не готовы к подобным ситуациям. Когда политики обсуждают регулирование роботов, они почти всегда рассматривают только автономные транспортные средства. Но беспилотники функционируют в высокоструктурированной среде с фиксированными ПДД и могут тестироваться годами до выхода на дороги общего пользования. В жилых квартирах, школах и больницах таких правил нет, поэтому заводские испытания не могут предсказать поведение робота с ИИ в непредсказуемой человеческой среде.
Это оставляет разработчиков с серьёзным концептуальным недостатком. Безопасность чат-бота абсолютна: он не выдаст схему взрывного устройства ни при каких обстоятельствах. Безопасность робота зависит от контекста — одно и то же физическое движение (наклон, скорость потока, траектория) при наливании кипятка из чайника одинаково, льётся ли вода в кружку или на руку человеку. Большие языковые модели хороши в открытой логике, но им трудно даётся контекстное рассуждение в реальном времени. В чат-боте ошибка в рассуждении приводит к опечатке или некорректной информации, а в физическом мире — к необратимым последствиям.
Остаётся открытым вопрос об ответственности, если робот нанесёт травму: конечный пользователь, производитель корпуса или создатель ИИ-алгоритма? Действующие законы пока не применялись в таких ситуациях. И пока регуляторы чётко не распределят ответственность, рыночное давление будет подталкивать технологические компании к ускоренному коммерческому внедрению в ущерб безопасности.
Вопросы взаимодействия человека и роботов выходят далеко за рамки технической безопасности — они затрагивают и психологические аспекты восприятия машин человеком. Интернет-газета «ЖУК» сообщала, что финские и немецкие исследователи установили: глаза на корпусе робота заставляют людей воспринимать его как мыслящее существо. Гуманоидные машины с глазами кажутся более разумными и эмоциональными, чем модели без них.