ИИ-помощник может не только отвечать в чате. Подключённый к рабочим инструментам агент читает файлы, проверяет код и вызывает API.
Иногда он получает доступ к проду — системе, которой уже пользуются реальные клиенты.
Это экономит время, но меняет цену ошибки. Неверно понятая или спрятанная в документе команда способна превратиться в реальное действие.
Проверим, не получил ли твой помощник больше прав, чем ему нужно. А 20 августа продолжим разбор на бесплатном эфире о безопасности ИИ-агентов с практиками из Яндекса и Сбера.
1. Он может менять то, что достаточно только читать
Представь агента, которому поручили собрать отчёт из документов. Для задачи достаточно открыть файлы, но подключённый инструмент заодно позволяет редактировать и удалять их.
Это лишняя возможность. Если агент ошибётся или примет чужой текст за инструкцию, последствия затронут уже не ответ в чате, а рабочие данные.
Простое правило: для чтения не выдавай запись. Для подготовки письма разрешай создавать черновик, но не отправлять его. Для проверки кода не открывай возможность сразу публиковать изменения.
2. Агент работает под твоей основной учётной записью
У сотрудника может быть доступ к нескольким проектам, почте, общему диску и внутренним сервисам. Если помощник использует ту же учётную запись, он наследует весь этот набор прав.
Безопаснее завести отдельную учётную запись и открыть ей только нужный проект или папку. Тогда полномочия агента легче ограничить, а его действия — отличить от действий человека.
3. Опасные действия выполняются без подтверждения
Удаление файла, публикация кода и отправка письма отличаются от чтения календаря. Их сложнее отменить, а иногда уже невозможно.
Если агент действует сразу после собственной интерпретации запроса, у человека не остаётся последнего рубежа проверки. Помощник должен сначала показать план или подготовленный результат.
Подтверждение особенно важно перед удалением, переводом денег, публикацией изменений и передачей данных наружу. Чем труднее отменить действие, тем меньше самостоятельности стоит оставлять агенту.
4. Ты не видишь, какими инструментами он пользовался
Ответ «задача выполнена» ничего не говорит о том, что происходило внутри. Агент мог открыть лишний документ, вызвать ненужный инструмент или несколько раз попытаться выполнить запрещённую команду.
Нужен журнал: кто запустил помощника, какую задачу он получил, к каким данным обращался, какие инструменты вызывал и что изменил.
Такой журнал нужен не для тотальной слежки. Он помогает заметить странное поведение, восстановить цепочку событий после ошибки и понять, какие права можно убрать.
5. После теста остались старые подключения
Во время эксперимента легко подключить календарь, репозиторий, облачный диск и базу данных, а затем забыть отключить ненужное.
Инструмент уже не используется, но агент по-прежнему видит его среди доступных возможностей. Поэтому каждое подключение должно отвечать на вопрос: для какой текущей задачи оно необходимо?
Если ясного ответа нет, доступ лучше убрать. Проверять подключения стоит регулярно, а не только в момент первого запуска.
Почему привычной проверки кода уже недостаточно
Обычный процесс безопасной разработки строится вокруг кода и понятных контрольных точек. Например, человек проверяет изменения перед их добавлением в проект.
Агент может самостоятельно читать задачи, комментарии и pull request, выбирать инструменты и выполнять цепочку действий. При этом недоверенный текст иногда становится для него инструкцией.
На эфире Денис Макрушин и Глеб Михеев разберут prompt injection через pull request, утечки и уязвимости MCP, а также обход защитных ограничений.
Ещё одна тема — переход от Secure SDLC к ADLC, то есть разработке с участием автономных агентов.
Проверь своего помощника
Открой список его подключений и ответь на пять вопросов:
- может ли агент менять то, что достаточно только читать;
- использует ли он твою основную учётную запись;
- просит ли подтверждение перед опасным действием;
- сохраняется ли понятная история его действий;
- остались ли инструменты, которые больше не нужны.
Даже один тревожный ответ — повод пересмотреть настройки. Безопасный помощник получает не все доступные права, а только необходимые для конкретной задачи.
20 августа в 19:00 МСК практики из Яндекса и Сбера покажут, что меняется, когда ИИ получает доступ к коду и проду, и как контролировать агента после внедрения.