По умолчанию команда "pip install llama-cpp-python" поставит llama-cpp-python без поддержки ускорения на GPU. Для поддержки различных вариантов необходимо использовать переменные окружения (документация на github https://github.com/abetlen/llama-cpp-python): OpenBLAS (CPU): CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" cuBLAS (CUDA): CMAKE_ARGS="-DGGML_CUDA=on" CLBlast (OpenCL): CMAKE_ARGS="-DLLAMA_METAL=on" и тд. Так как производится сборка llama.cpp необходимо установить Cmake, использовал установку через VisualStudio (скачать можно тут https://visualstudio...

Вот не ностальгия это, а "вьетнамские флешбеки". Почти весь день пришлось разбираться с убунтой и настраивать тензорфлоу. Но под конец все таки смог прикрутить то что нужно. Опущу пока проблемы самой Ubuntu (вот Вы знали что у последней убунты есть проблема если она стоит на SSD? И что попытка убунты загрузиться случается быстрее чем видеоадаптер загрузиться?) приведу пока команды для установки tensorflow + GPU 0) Всегда смотри таблицу совместимости. Для tensorflow это СВЕРХВАЖНО! 1) Драйвера. Принцип "Ставь последние стабильные" тут не работает, просто потому что версия CUDA тут 12...