ИИ-помощник может разобрать входящие, найти счета, подготовить ответы и очистить почту от мусора.
Звучит удобно — пока он не принимает обычное письмо за ненужное и не удаляет его без возможности быстро всё вернуть.
В августе CyberED проводит «Нейроавгуст» — месяц бесплатных эфиров и материалов об ИИ в кибербезопасности.
Один из главных вопросов программы: как пользоваться агентами и не отдавать им больше прав, чем требуется для задачи.
Помощник и агент — не одно и то же
Обычный чат-бот предлагает текст, а решение остаётся за человеком. ИИ-агент может действовать сам: открывать файлы, обращаться к сервисам, отправлять запросы и менять данные.
Пока нейросеть только предлагает черновик ответа, ошибка неприятна, но поправима. Если ей разрешили самостоятельно удалять письма, ошибка превращается в действие.
На вебинаре CyberED «AI в деле» спикер привёл показательный пример: агенту передали управление почтовым ящиком.
В какой-то момент тот начал удалять входящую корреспонденцию, а пользователь не мог быстро его остановить.
Такая проблема не означает, что от автоматизации нужно отказаться. Она означает, что права помощника должны соответствовать конкретной задаче.
Не выдавайте доступ «на всякий случай»
Если помощнику нужно подготовить сводку по новым письмам, ему достаточно чтения. Право удалять сообщения, менять фильтры и отправлять ответы для этой задачи лишнее.
С файлами действует тот же принцип. Для поиска документа не нужен доступ на редактирование всей папки. Для составления черновика встречи не обязательно разрешать агенту самостоятельно рассылать приглашения.
Перед подключением ИИ задайте четыре вопроса:
- какие данные он сможет увидеть;
- что он сможет изменить или удалить;
- какие действия выполнит без подтверждения;
- можно ли отменить результат и восстановить данные.
Если на последний вопрос нет ясного ответа, самостоятельные действия лучше отключить.
Первые запуски ничего не гарантируют
Опасная ловушка выглядит так: агент трижды верно разобрал почту, поэтому на четвёртый раз ему разрешают работать без проверки. Но успешные попытки не доказывают, что следующий случай будет таким же.
В новом письме может оказаться необычная тема, вложенная переписка или формулировка, которой не было раньше.
Модель неверно поймёт контекст, но выполнит действие с теми правами, которые получила.
Поэтому автоматизацию лучше расширять постепенно: сначала черновик, затем действие после подтверждения и лишь потом — ограниченная самостоятельная работа на повторяемых операциях.
Бесплатные эфиры и записи собраны в «Нейроавгусте».
Оставьте человеку опасные решения
Полезное разделение простое. ИИ может классифицировать письма, предлагать папку, готовить ответ и отмечать подозрительное. Человек подтверждает отправку, удаление, оплату и передачу конфиденциальных данных.
Особенно осторожно стоит относиться к действиям, которые трудно отменить. Удаление архива, публикация сообщения, изменение доступа и запуск оплаты должны требовать отдельного подтверждения.
Не стоит передавать агенту пароль от основного аккаунта, если сервис поддерживает отдельное подключение с ограниченными правами. И не нужно загружать рабочую переписку в сторонний чат без разрешения компании.
Подготовьте путь назад
Даже аккуратно настроенный помощник может ошибиться. До запуска проверьте корзину, резервную копию, журнал действий и способ мгновенно отключить доступ.
Начинать лучше не со всего почтового ящика, а с отдельной папки или тестового набора писем. Так вы увидите ошибки до того, как они затронут важную переписку.
Полезно заранее определить и критерий остановки. Например: агент прекращает работу, если не уверен в категории письма, встречает новое вложение или собирается выполнить действие вне заданного сценария.
Хороший ИИ не получает ключи от всего
Главный принцип безопасной автоматизации: поручайте нейросети ровно одну понятную задачу и выдавайте минимальные права для её выполнения. Скорость помощника полезна, пока последнее слово остаётся за человеком.
В «Нейроавгусте» CyberED можно глубже разобраться в этой теме. В программе есть бесплатные эфиры, записи и подборка материалов по LLM и AI-агентам.
Отдельный онлайн-интенсив посвящён безопасности ИИ-систем, ограничению полномочий и контролю работы агентов с данными, API и кодом.
До 1 сентября две программы — «Безопасность ИИ-систем и агентов» и «AI-усиленный пентест» — доступны вместе за 45 000 ₽.