298 подписчиков
Всем привет, с вами Низамов Илья. В этом видео я покажу как установить и настроить VLLM для запуска больших языковых моделей (LLM) на связке из двух разных видеокарт - RTX 3090 и Tesla V100.
#Vllm #llm #rtx3090 #teslav100 #machinelearning #deeplearning #ai #gpu #nvidiagpu #tensorparallel #aiinference #languagemodels #openai #cuda #pythonai #mlops #aitutorial #gpucomputing #distributedcomputing #techtutorial
Около минуты
29 января