Наши ребята, для запуска собственной ИИ, ушли на этот сервис. Пробовали запускать ИИ (llama3.1 и т.п.) с помощью ollama, но в итоге решили остановиться от vllm. Почему? Были проблемы с параллельными потоками, которые замедляли массовую генерацию текста. По ссылке почитайте детали, думаю разберетесь...