2 подписчика
Когда «нет» не означает «нет»
Личный AI-агент обещает избавить нас от мелкой работы. Он разберёт почту, найдёт нужное сообщение, вспомнит, о чём мы говорили с коллегой, и предложит следующий шаг. Чтобы это стало возможным, ему нужен доступ к личным данным. Мы соглашаемся на одни разрешения, отказываем в других — и рассчитываем, что эта граница что-то значит.
Именно поэтому история с Meta Muse так неприятна. Технический обозреватель Джейсон Эйтен рассказал, что агент предложил ему темы статей, опираясь на переписку в Apple Messages. По словам Эйтена, доступ к сообщениям он не разрешал. Проверяя случившееся, он обнаружил, что Muse синхронизировал около 187 тысяч строк из базы сообщений, хотя Full Disk Access на его Mac был выключен.
Пока мы не знаем, как именно агент получил эти данные. Возможно, дело в ранее выданном разрешении, другом подключённом устройстве или особенности интеграции; опубликованные материалы не дают независимого технического объяснения. Поэтому утверждать, что Muse доказанно взломал защиту macOS, было бы преждевременно. Но неопределённость механизма не отменяет главного: пользователь был уверен, что закрыл агенту доступ, а затем увидел результат, который выглядел так, будто доступ всё-таки был.
У современных агентов это особенно болезненная проблема доверия. Обычное приложение запрашивает доступ к контактам или диску, и мы хотя бы примерно понимаем, для какой функции он нужен. Личный агент обещает помогать «со всем». В отдельном обзоре Muse видно, насколько широкими могут быть запросы на доступ при настройке: почта, сообщения, заметки, файлы. Чем больше источников соединено в одном помощнике, тем труднее человеку представить последствия одного согласия — или проверить, что один отказ действительно сработал.
Можно сказать: не давайте агенту личные данные. Это безопасный совет, но тогда личный агент перестаёт быть личным агентом. Можно сказать: подтверждайте каждое действие. Но если запросы появляются постоянно, человек привыкает нажимать «разрешить», не читая. Проблема не решается ни всеобщим доступом, ни бесконечной вереницей всплывающих окон.
Гораздо важнее, чтобы разрешения были узкими и понятными. Агенту можно позволить найти конкретное письмо для конкретной задачи, не отдавая весь архив переписки в распоряжение сервиса. Можно дать прочитать файл, не разрешая загрузить его в облако. И нужно иметь возможность увидеть после выполнения, к каким данным агент действительно обращался и куда они ушли. Не потому, что каждый агент обязательно сделает что-то плохое, а потому, что без этого пользователь не может проверить собственное «нет».
В истории Muse технический ответ ещё предстоит установить. Человеческий вопрос уже ясен. Мы готовы доверить помощнику часть своей жизни только при условии, что он понимает границы этого доверия. Если продукт просит нас выбирать разрешения, но мы не можем убедиться, что выбор соблюдён, то перед нами не контроль над агентом. Перед нами интерфейс, который лишь выглядит как контроль.
2 минуты
30 сентября