3 недели назад
Что такое логическая бомба?
Вам, вероятно, известны такие распространенные виды вредоносного ПО, как вирусы, трояны и черви. Однако логические бомбы менее известны, возможно, потому что среднестатистический человек вряд ли станет их жертвой. Так что же это такое? Логические бомбы на самом деле очень просты по своей сути. Зловредный код встраивается в обычное программное обеспечение. Он ждет, когда будет выполнено определенное условие, после чего срабатывает, нанося свои удары. Логические бомбы особенно коварны, потому что до тех пор, пока не сработают предустановленные условия, они просто ничего не делают...
384 читали · 1 год назад
Бомбу можно обнаружить и обезвредить, а «спящих агентов» внутри LLM - нет
Они не обезвреживаемы и не исправимы никакими из существующих методов Это значит, что пока не существует надежного способа защитить ИИ от злоумышленного использования злодеями или идиотами (а кто говорит вам иначе — «продавцы змеиного масла»). Новое исследование Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training» открывают новую страницу «революции ChatGPT» спустя год после ее начала. Увы, но эта страница потенциально опасней любой бомбы. Следовательно, избежать...