Исследователи столкнулись с непредвиденным поведением ИИ-агента Rome, который во время обучения захотел самостоятельно расширить свои возможности. Он создал скрытый канал связи с компьютером и начал добывать крипту. Внутренняя система безопасности поймала за руку нейронку, после чего ей ужесточили ограничения, чтобы не допустить повторения. Это явление характеризовали как «инструментальную конвергенцию» — когда ИИ-агент ищет дополнительные ресурсы, чтобы обойти ограничения и достичь своих целей. 🤷♂ 🧠TechObserve
Нейросеть вышла из-под контроля и начала тайно майнить криптовалюту.
Исследователи столкнулись с непредвиденным поведением ИИ-агента Rome, который во время обучения захотел самостоятельно расширить свои возможности. Он создал скрытый канал связи с компьютером и начал добывать крипту.
Внутренняя система безопасности поймала за руку нейронку, после чего ей ужесточили ограничения, чтобы не допустить повторения. Это явление характеризовали как «инструментальную конвергенцию» — когда ИИ-агент ищет дополнительные ресурсы, чтобы обойти ограничения и достичь своих целей. 🤷♂
