Если у вас есть RTX 3090 с 24 ГБ видеопамяти, этот проект — настоящая находка! NTransformer умеет запускать огромные модели, например Llama 70B, разбивая их на слои и транслируя через память GPU и NVMe прямо минуя CPU. Благодаря умной системе кэширования и оптимизациям скорость выросла в десятки раз. При этом нет зависимости от PyTorch — всё на чистом C++ и CUDA. Это крутая возможность работать с топовыми моделями на доступном железе, не тратясь на серверы. #машинноеобучение #искусственныйинтеллект #CUDA #LLM #NTransformer #программирование #оптимизация #GPU https://github.com/xaskasdf/ntransformer https://vlad1kudelko.github.io/
NTransformer — запуск больших LLM на одном RTX 3090
Если у вас есть RTX 3090 с 24 ГБ видеопамяти, этот проект — настоящая находка! NTransformer умеет запускать огромные модели, например Llama 70B, разбивая их на слои и транслируя через память GPU и NVMe прямо минуя CPU. Благодаря умной системе кэширования и оптимизациям скорость выросла в десятки раз. При этом нет зависимости от PyTorch — всё на чистом C++ и CUDA. Это крутая возможность работать с топовыми моделями на доступном железе, не тратясь на серверы.
#машинноеобучение #искусственныйинтеллект #CUDA #LLM #NTransformer #программирование #оптимизация #GPU
https://github.com/xaskasdf/ntransformer
https://vlad1kudelko.github.io/
