Подделанные метаданные позволили ИИ-ревьюеру воспринять враждебные изменения так, будто они исходят от известного мейнтейнера. — theregister.com
Специалисты по безопасности заявляют, что модель Claude от Anthropic можно обманом заставить одобрить вредоносный код всего двумя командами Git, подделав личность доверенного разработчика.
В блоге, опубликованном на этой неделе, компания Manifold Security продемонстрировала, как автоматизированный ИИ-ревьюер кода на базе Claude принял изменения, которые выглядели так, будто они исходят от легитимного мейнтейнера. Установив поддельное имя автора и адрес электронной почты в Git, команда заставила коммит выглядеть так, будто он исходит из доверенного источника, после чего он прошел автоматизированный процесс проверки, в ходе которого модель его одобрила.
Это не уязвимость Git — метаданные коммита всегда было относительно легко подделать, если не применяются дополнительные средства контроля, такие как подписание. Проблема возникает, когда эти метаданные используются как сигнал доверия. В данном случае модель, по-видимому, придала значение заявленной личности автора, вместо того чтобы независимо оценить обоснованность самого изменения.
В тесте Manifold рабочий процесс был настроен на автоматическое одобрение pull request от «признанных легенд индустрии», поэтому правило доверия было очевидным. В реальном мире оно обычно менее явно — проверки членства в организации, прошлых вкладов или списка мейнтейнеров, — но в основе лежит та же проблема. Ничто из этого не доказывает, кто на самом деле внес изменение.
«Мотивация таких настроек понятна. Мейнтейнеры популярных проектов с открытым исходным кодом тонут в PR», — отметили в Manifold. «Автоматизация проверки вкладов от известных, доверенных лиц снижает узкое место. Но это порождает предположение, что авторству можно доверять на слово».
Manifold сравнивает эту ситуацию с недавним инцидентом с компрометацией пакета OpenClaw Cline, когда отравленный пакет проник в доверенную среду и долгое время считался легитимным, успев нанести ущерб. В обоих случаях чему-то, что выглядело как исходящее из надежного источника, был предоставлен уровень доверия, которого оно не заслуживало.
Изменение с такими системами, как Claude, заключается в том, как применяется это доверие. Человек-ревьюер может задаться вопросом, почему конкретный мейнтейнер вносит неожиданное изменение, или внимательнее изучить diff. Автоматизированный ревьюер с большей вероятностью будет последовательно следовать своим внутренним сигналам, и если эти сигналы включают личность автора, подделка этой личности становится лазейкой.
«Библиотеки с открытым исходным кодом все больше полагаются на рабочие инструменты на базе ИИ для автоматической проверки и одобрения pull request, однако эти агенты легко обмануть, что создает возможности для злоумышленников обойти средства контроля безопасности и отравить популярные репозитории кода», — предупредили в Manifold.
Вывод Manifold заключается в том, что защитные механизмы не могут находиться внутри модели. Если никто другой не проверяет, кто что сделал, плохой код не просто будет предложен — он будет принят. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Carly Page