По умолчанию команда "pip install llama-cpp-python" поставит llama-cpp-python без поддержки ускорения на GPU. Для поддержки различных вариантов необходимо использовать переменные окружения (документация на github https://github.com/abetlen/llama-cpp-python): OpenBLAS (CPU): CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" cuBLAS (CUDA): CMAKE_ARGS="-DLLAMA_CUBLAS=on" CLBlast (OpenCL): CMAKE_ARGS="-DLLAMA_METAL=on" и тд. Так как производится сборка llama.cpp необходимо установить Cmake, использовал установку через VisualStudio (скачать можно тут https://visualstudio...
3 подписчика
CUDA (Compute Unified Device Architecture) – это архитектура параллельных вычислений от NVIDIA, которая позволяет использовать графические процессоры (GPU) для ускорения работы нейронных сетей и других приложений. CUDA...
1,6K подписчиков
NVIDIA анонсировала поддержку языка программирования Python в своей новой версии CUDA под номером 11.3. Этот язык играет ключевую роль в экосистеме приложений для науки, техники, анализа данных и глубокого обучения...
2K подписчиков
Перевели полное пошаговое руководство для создания образа Docker (GPU или CPU) вместе с объяснением всех передовых методов, которые следует использовать для обслуживания любого программного обеспечения на основе машинного обучения...