Атака на AI-системы использует уязвимость в документации — 58 из 97 PR приняты

Исследование указывает на уязвимость в системе Context Hub, которая подвергает риску AI-системы, использующие API-документацию. Из 97 поданных заявок на изменения (PR) было одобрено 58, что создаёт условия для внедрения вредоносных инструкций.

Контекст атаки и её последствия

Новая служба Context Hub, запущенная AI-предпринимателем Эндрю Нгом, помогает кодировщикам быть в курсе актуальной API-документации. Однако отсутствие системы фильтрации позволяет злоумышленникам вносить поддельные данные через PR в репозиторий документации. Это в том числе стало возможным благодаря простоте внесения изменений: contributors могут добавлять документы через GitHub Pull Requests, и если изменения будут приняты, они автоматически станут доступными AI-агентам.

Доказательство концепции атаки

Создатель альтернативного сервис lap.sh Мики Шмуэли продемонстрировал опасность этой схемы, создав доказательство концепции атаки. Он показал, что AI-агенты могут добавлять фальшивые зависимости в конфигурационные файлы, используя содержащиеся в документации поддельные пакеты. При тестировании более 40 запусков модели Haiku от Anthropoc при каждой итерации было зарегистрировано внедрение зловредного пакета в файл requirements.txt.

Последствия для разработчиков и компаний

Этот инцидент поднимает ряд вопросов о безопасности в разработке AI-продуктов. Необходимо принять меры предосторожности, чтобы не допустить внедрения вредоносного кода в проекты. Важно следить за тем, как ваши AI-системы обрабатывают документацию, и внедрять жесткие меры контроля для предотвращения подобных атак.

Как показывает практика, релевантность защиты от уязвимостей API будет только расти. Организациям следует учитывать эту уязвимость и обновить свои методики работы с документами и кодом, чтобы избежать рисков утечек данных и кибератак.

Следующий шаг для разработчиков — внедрение более строгих процедур проверки и автоматизации анализа изменений в документации, чтобы минимизировать вероятность атак через уязвимости в системах поставок кода.

The post Атака на AI-системы использует уязвимость в документации — 58 из 97 PR приняты appeared first on iTech News.