Инженеры Anthropic протестировали поведение многоагентных систем на базе моделей семейства Claude в сценариях, где требуется взаимодействие агентов. Оказалось, что коллективная работа может как помогать агентам, так и приводить к неожиданным конфликтам и сбоям — они могут саботировать действия друг друга, устроить ценовой сговор в условиях конкуренции и независимо друг от друга выполнять одинаковые действия и генерировать одинаковые решения , которые приведут к глобальным ошибкам в выполнении общей задачи...

Чтобы ИИ-агент мог что-то сделать в реальной компании — прочитать репозиторий, отправить письмо, залезть в CRM, — ему нужен доступ. Обычно это значит одно: агенту дают самый настоящий пароль или токен, тот же, каким пользовался бы человек-сотрудник. Проблема в том, что агент читает и текст из внешнего мира — письма, тикеты, чужие комментарии, — а спрятанная в этом тексте инструкция может заставить его слить всё, до чего он дотянулся. Такой приём называется промпт-инъекцией: команда для модели, замаскированная под обычный текст...