Компании Google и Anthropic опубликовали материалы, посвящённые последствиям расширения возможностей больших языковых моделей, использующих современные протоколы автоматизированного взаимодействия. В центре внимания — потенциал и риски, возникающие при подключении LLM к внешним сервисам, внутренним базам и API через механизмы MCP и A2A.
Эволюция моделей типа GPT и Claude уже вышла за рамки простых диалоговых интерфейсов. Теперь ИИ способен инициировать действия в приложениях, получать доступ к конфиденциальным данным и взаимодействовать с другими агентами без вмешательства человека. Протокол MCP упрощает их подключение к цифровой инфраструктуре, а технология A2A от Google открывает каналы прямой коммуникации между ИИ-системами.
На этом фоне усиливается тревога по поводу чрезмерной автономии. Представленные данные указывают на то, что такие агенты могут принимать решения, не имея чёткого контроля или надзора, что ставит под угрозу устойчивость бизнес-процессов. Риск особенно высок в здравоохранении и финансовой сфере, где малейшая ошибка может затронуть жизни и средства млн пользователей.
Особое беспокойство вызывает невозможность проследить ход рассуждений моделей. LLM по-прежнему воспринимаются как чёрные ящики — при этом их влияние на операционные процессы усиливается. Это создаёт не только угрозу ошибок, но и снижает уровень участия человека, поскольку организации всё чаще передают критические функции автоматизированным системам.
В отчётах подчёркнуто, что интеграция протоколов MCP и A2A без системного мониторинга открывает новые уязвимости в цепочках поставок. LLM способны вступать во взаимодействие с внешними средами, запускать процессы и передавать данные без верификации. Такой подход не только снижает уровень прозрачности, но и провоцирует формирование «процессного долга», при котором из-за автоматизации никто не замечает накопления ошибок и предвзятости.
Расширение агентских возможностей ИИ требует не просто внедрения, а полной переоценки политики безопасности, распределения ответственности и уровней допуска. В противном случае технология, призванная помогать, может стать источником деструктивных решений.
Оригинал публикации на сайте CISOCLUB: "Google и Anthropic: рост автономии LLM провоцирует скрытые угрозы безопасности и подрывает доверие к бизнес-решениям".
Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.
Подписывайтесь на нас: VK | Rutube | Telegram | Дзен | YouTube.