Изображение: recraft
Новое научное исследование показало, что при длительном взаимодействии агентов искусственного интеллекта риск может формироваться на уровне всей системы, даже если каждый отдельный агент действует строго в рамках заданных правил. Опасность возникает не из-за сбоя или злоупотребления, а из-за самой структуры взаимодействия, накопления обратных связей и способов координации между агентами.
Работа выполнена учёными Института открытых коммуникационных систем им. Фраунгофера и посвящена анализу поведения агентного ИИ после развертывания в сложных средах. Исследование исходит из того, что основная часть рисков проявляется не на этапе проектирования, а позже, когда агенты начинают адаптироваться, реагировать на сигналы среды и учитывать действия друг друга.
Авторы рассматривают риск как системное свойство. Отдельные агенты могут корректно следовать политике, локальным целям и ограничениям.
При этом коллективное поведение, формирующееся со временем, способно затронуть крупные технические или социальные системы. Такие эффекты возникают из сочетания общих сигналов, петель обратной связи и устойчивых моделей координации, которые не закладывались напрямую в логику отдельных компонентов.
В исследовании подчёркивается, что подобные системные риски не ограничены какой-то одной областью. Энергетические сети, социальные сервисы, информационные платформы создают среды, где эффекты взаимодействия накапливаются. Поведение агентов распространяется через общие ресурсы, каналы связи и механизмы реагирования, формируя новые закономерности на уровне всей системы.
Ключевым вкладом работы стала Agentology — графический язык для моделирования взаимодействующих ИИ-систем. Этот подход позволяет наглядно представлять агентов, людей, подсистемы и окружающую среду, а также потоки информации и траектории координации между ними.
Agentology использует 2 типа диаграмм. Первые показывают структурную организацию системы, вторые — эволюцию процессов во времени. С их помощью можно проследить, как сигналы циркулируют между агентами и как обратная связь постепенно меняет поведение всей системы. Авторы демонстрируют, что определённые конфигурации взаимодействия приводят к появлению новых устойчивых паттернов, которые невозможно выявить при анализе отдельных агентов по отдельности.
Исследование делает вывод, что управление рисками в агентных ИИ-системах требует смещения фокуса. Недостаточно проверять корректность отдельных моделей или политик. Необходим анализ динамики взаимодействий, инструментов визуализации и сценариев развития во времени. Именно на этом уровне формируются риски, которые могут проявиться без предупреждения и оказать влияние далеко за пределами исходной технической задачи.
Оригинал публикации на сайте CISOCLUB: "Риски в многоагентных ИИ-системах могут возникать внезапно и без ошибок отдельных агентов".
Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.
Подписывайтесь на нас: VK | Rutube | Telegram | Дзен | YouTube.