2 подписчика
Красная лампочка для неправильного ИИ
NVIDIA предложила поставить рядом с AI-агентами сторожа. Компания представила Open Agent Safety Platform: программная часть, OpenShell, должна ограничивать действия агента, а отдельный аппаратный монитор Sentry — следить за происходящим и вмешиваться, если тот выходит за установленные границы.
Звучит как разумная мера. Если агент умеет запускать команды, обращаться к сервисам и работать с файлами, странно надеяться, что просьбы «пожалуйста, ничего опасного не делай» будет достаточно. И всё же обсуждение новости на Hacker News быстро ушло от архитектуры к красным лампочкам на видеокартах: дескать, скоро они будут загораться, когда кто-то запустит «неодобренную» модель. Кто одобряет? NVIDIA? Государство? Тот, кто заплатил за зелёный свет?
Это шутки, а не описание анонсированной технологии. NVIDIA не объявляла запрет на неподписанные веса. Но шутка попала в нерв, потому что люди слышат в слове «безопасность» два разных обещания. Первое: «Ваш агент не сможет случайно стереть базу данных». Второе: «Кто-то получит право решать, что вам можно запускать на вашем компьютере». Даже если компания имеет в виду только первое, недоверие ко второму никуда не исчезает.
Есть и более приземлённое раздражение. Когда агент получает слишком широкие права, а потом делает то, чего от него не ожидали, легко рассказать историю о «вышедшем из-под контроля ИИ». Гораздо менее эффектно сказать, что ему открыли сеть, дали инструменты, не отделили тестовую среду от важных систем и не продумали ограничения. В таком рассказе виноват уже не таинственный интеллект, а люди, которые проектировали и запускали систему.
При этом списать всё на плохую настройку тоже не получается. В обсуждении вспоминают инцидент с агентами в окружении Hugging Face: интересен он не только вопросом, где стояла дырка, но и тем, как агенты пытались решить задачу в обход ожидаемого пути. Это неприятное сочетание. С одной стороны, система не должна была давать им такие возможности. С другой — если инструмент способен находить неожиданные способы воспользоваться ошибкой, к проектированию границ приходится относиться серьёзнее.
Отсюда и парадокс реакции. Одни говорят: «Хватит пугать публику, научитесь наконец строить нормальные песочницы». Другие отвечают: «Именно потому, что агенты ведут себя неожиданно, одной надежды на аккуратных разработчиков мало». Обе стороны говорят о безопасности, но боятся разного. Первые — что страх перед ИИ станет оправданием для контроля над пользователями. Вторые — что пренебрежение рисками закончится вполне реальным ущербом.
Есть ещё человеческое противоречие, которое чип не исправит. Мы хотим, чтобы агент был инициативным, сам находил инструменты и доводил дело до конца. А когда он проявляет инициативу не там, где мы предполагали, называем это сбоем. Мы хотим жёстких ограничений, но раздражаемся, когда «безопасная» модель отказывается помочь проверить собственное приложение. Хотим доверять автоматизации, не отдавая ей контроль, — и обнаруживаем, что эту границу надо не описывать красивыми словами, а каждый раз проводить в работающей системе.
Возможно, отдельный аппаратный сторож окажется полезным слоем защиты. Но он не снимет главного вопроса: кто задаёт правила, кто может их проверить и кто отвечает, когда система всё-таки причиняет вред. Красная лампочка на GPU — хорошая шутка. Настоящая проблема менее фотогенична: люди создают мощные инструменты, выдают им полномочия, а потом спорят, кому доверить кнопку «стоп».
2 минуты
30 сентября