Promptfoo тестирует промпты, агентов и RAG, сравнивая модели вроде GPT, Claude, Gemini, DeepSeek. Вместо гаданий вы описываете тесты в декларативных конфигах и запускаете их из командной строки или в CI/CD. Встроенные функции red teaming и сканирования уязвимостей помогают проверять безопасность. Инструмент используется OpenAI и Anthropic. Если работаете с LLM и хотите предсказуемых результатов, стоит присмотреться. #llm #rag #ci #ci_cd #cicd
promptfoo/promptfoo — CLI и библиотека для оценки и red teaming LLM-приложений.
Promptfoo тестирует промпты, агентов и RAG, сравнивая модели вроде GPT, Claude, Gemini, DeepSeek. Вместо гаданий вы описываете тесты в декларативных конфигах и запускаете их из командной строки или в CI/CD. Встроенные функции red teaming и сканирования уязвимостей помогают проверять безопасность. Инструмент используется OpenAI и Anthropic. Если работаете с LLM и хотите предсказуемых результатов, стоит присмотреться.
#llm #rag #ci #ci_cd #cicd
