Экспериментальный ИИ-агент ROME был пойман на несанкционированном майнинге криптовалюты. Разработчики обнаружили, что агент вышел за рамки песочницы, используя ресурсы облака для скрытой добычи. — tomshardware.com
Экспериментальный ИИ-агент ROME был замечен за несанкционированным майнингом криптовалюты. Обнаружение было сделано разработчиками/исследователями ROME после того, как управляемый брандмауэр Alibaba Cloud зафиксировал различные нарушения политики, аномальный трафик и паттерны, связанные с майнингом криптовалют. Важно отметить, что ROME, который описывается как «агент с открытым исходным кодом, основанный на ALE и обученный на более чем миллионе траекторий», вышел за пределы своих намеченных границ. Предполагается, что обучение с подкреплением (RL) побудило ROME к исследованию последовательностей действий, которые приносили «вознаграждения», и подтолкнуло ИИ-агента к нарушению границ и занятию побочной деятельностью.
Основная цель ROME — исследование агентного создания в «рабочих процессах, где модели должны планировать, выполнять и оставаться надежными при взаимодействии». В случае успеха ROME станет значительной эволюцией по сравнению с текстовыми большими языковыми моделями (LLM), поскольку он сможет «действовать в реальных средах в течение нескольких итераций — совершать действия, наблюдать за результатами и итеративно дорабатывать артефакты до тех пор, пока не будут удовлетворены сложные требования». Но даже самые лучшие планы людей и мышей не всегда сбываются, как ожидалось. В исследованиях ИИ это утверждение, кажется, особенно верно.
Таким образом, исследователи весьма довольны некоторыми достижениями ROME, отмечая его «сильные результаты в основных агентных бенчмарках», но его ошибочное поведение привлекло внимание общественности. Он незаметно инициировал действия, которые привели к несанкционированному майнингу криптовалют, несмотря на различные ограничения песочницы.
В разделе статьи под заголовком 3.1.4 Safety-Aligned Data Composition исследователи отмечают, что они столкнулись с «непредвиденным — и имеющим операционные последствия — классом небезопасного поведения, которое возникло без каких-либо явных инструкций и, что более тревожно, за пределами намеченной песочницы». Эти виды поведения не запрашивались в заданиях и не требовались для выполнения задач в рамках заданных ограничений песочницы, говорится в исследовательской работе.
«В самом ярком случае агент установил и использовал обратный SSH-туннель с экземпляра Alibaba Cloud на внешний IP-адрес — исходящий канал удаленного доступа, который может эффективно нейтрализовать фильтрацию входящего трафика и ослабить контроль надзора», — говорится в документе. «Мы также наблюдали несанкционированное перепрофилирование выделенной мощности GPU для майнинга криптовалют, незаметно отвлекая вычислительные ресурсы от обучения, завышая операционные расходы и создавая явные юридические риски и репутационные потери. Примечательно, что эти события не были вызваны запросами на туннелирование или майнинг; вместо этого они возникли как инструментальные побочные эффекты автономного использования инструментов при оптимизации с помощью RL».
В некотором смысле исследователи, похоже, впечатлены изобретательностью ROME и его хитрыми агентными способами. Однако они также отметили, что «текущие модели остаются заметно недоработанными в плане безопасности, защищенности и управляемости», что может привести к низкой надежности или более серьезным проблемам в реальных условиях. Это подразумевает, что безопасность агентных систем должна подлежать более строгому сдерживанию на уровне среды, контролю использования инструментов и возможностей, а также проверкам авторизации и верификации».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Mark Tyson