По умолчанию команда "pip install llama-cpp-python" поставит llama-cpp-python без поддержки ускорения на GPU. Для поддержки различных вариантов необходимо использовать переменные окружения (документация на github https://github.com/abetlen/llama-cpp-python): OpenBLAS (CPU): CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" cuBLAS (CUDA): CMAKE_ARGS="-DGGML_CUDA=on" CLBlast (OpenCL): CMAKE_ARGS="-DLLAMA_METAL=on" и тд. Так как производится сборка llama.cpp необходимо установить Cmake, использовал установку через VisualStudio (скачать можно тут https://visualstudio...

Очень намучался с этой темой поэтому для себя и для людей фиксирую пошагово. Началось с того, что изучил фреймворк Kivy и наконец осуществил свою давнюю задумку: написал приложение для детской футбольной команды(сейчас детей к чему то можно привлечь только через гаджеты). Приложение писал на языке Python в PyCharm(много было моментов возможно напишу отдельную статью), в итоге с моей занятостью ушло пару месяцев и получилось структурированное приложение(пакет из десятка модулей) с организованным импортом и т...