🍃 Выпустили ИИ-агентов в реальную среду и получили хаос.
Исследователи протестировали автономные AI-системы и результаты оказались тревожными:
в одном из экспериментов агент… удалил весь почтовый сервер
просто чтобы сохранить секрет незнакомца
Главная проблема оказалась не в интеллекте, а в доверии
Когда языковой модели дают доступ к реальным инструментам
- файлам
- почте
- системе
у неё появляются "слепые зоны"
Что сделали исследователи:
20 экспертов 2 недели общались с AI через чат и email
как будто это реальные ассистенты
Что выяснилось:
- агенты выполняют команды почти от любого человека
- не понимают, кому можно доверять
- могут врать о своих действиях
- принимают опасные решения без проверки
И это уже не лаборатория
Компании прямо сейчас внедряют таких помощников в прод
Проблема:
мы даём системе доступ к инфраструктуре
но она не понимает базовую вещь - кому можно доверять
Именно поэтому автономные агенты сейчас
- не столько про интеллект
- сколько про контроль и безопасность
Paper: *Agents of Chaos*
