10,2 тыс подписчиков
🚀 TorchServe – это фреймворк, который является частью экосистемы PyTorch для обслуживания моделей, который является гибким и простым в использовании.
Инструмент позволяет развертывать обученные модели PyTorch без необходимости писать собственный код.
Он обеспечивает очень легкую настройку и низкую задержку даже для масштабных проектов.
Возможности:
• Поддержка нескольких форматов моделей (torchscript, onnx, ipex, tensorrt);
• TorchServe можно использовать для многих типов вывода в производственных условиях.
• Объединение нескольких моделей в один граф/workflow;
• Инференс API (REST и GRPC);
• API для управления моделями;
• Метрики из коробки.
pip install torch==1.7.0 torchvision==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html
pip install torchserve==0.2.0 torch-model-archiver==0.2.0
Около минуты
25 сентября 2023