#BIZPROBLEM 28. Уволенные сотрудники, инсайдеры. Ушел и заложил логическую бомбу в проект #risk #pm
Бомбу можно обнаружить и обезвредить, а «спящих агентов» внутри LLM - нет
Они не обезвреживаемы и не исправимы никакими из существующих методов Это значит, что пока не существует надежного способа защитить ИИ от злоумышленного использования злодеями или идиотами (а кто говорит вам иначе — «продавцы змеиного масла»). Новое исследование Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training» открывают новую страницу «революции ChatGPT» спустя год после ее начала. Увы, но эта страница потенциально опасней любой бомбы. Следовательно, избежать...
Что такое «грязная бомба» и чем она опасна?
Чтобы создать атомную бомбу, нужно иметь развитые науку и промышленность. А «грязную бомбу» можно собрать буквально на коленке. Если, конечно, эта коленка тебе уже не дорога. Каким бы смертоносным ни было ядерное оружие, а «грязная бомба» еще страшнее. Эта штука позволяет заразить территорию радиоактивной пылью, а взрыв при этом просто помогает разбросать радиоактивное вещество. В принципе, можно даже без взрыва обойтись. После обычного ядерного взрыва уровень радиации довольно быстро падает, и через несколько лет территория становится пригодной для жизни...