OWASP выложили AI Testing Guide — полезный документ для тех, кто делает или внедряет AI-функциональность

OWASP выложили AI Testing Guide — полезный документ для тех, кто делает или внедряет AI-функциональность.

В гайде риски разложены по уровням.

На уровне приложений — прямые и скрытые prompt-инъекции (когда инструкции «зашиваются» в текст, документы или веб-страницы), утечки чувствительных данных, раскрытие системных промптов и небезопасные ответы модели.

На уровне инфраструктуры — атаки на цепочку поставок, истощение ресурсов, выход за границы плагинов (plugin boundary violations) и злоупотребление возможностями системы (capability misuse).

На уровне моделей и данных — отравление обучающих датасетов, извлечение модели, утечки train-данных и смежные сценарии.

Практический вывод простой: если вы разрабатываете AI-фичи, этот гайд логично превратить в чек-лист и тест-план для своего продукта.

Базовая «гигиена», без которой сейчас никуда:

— жёстко ограниченные инструменты и права AI-агента;

— секреты вынесены из контекста модели;

— логирование всех вызовов инструментов;

— фильтрация и нормализация входных данных (особенно файлов и веб-контента);

— и обязательно быстрый kill-switch — возможность мгновенно отключить опасную функциональность.

Найти гайд можно по ссылке https://github.com/OWASP/www-project-ai-testing-guide/blob/main/Document/README.md