🦙 Если вы хотите попробовать работать с LLM прямо на своём компьютере без сложных зависимостей и с поддержкой Apple Silicon, RISC-V и популярных GPU – обратите внимание на llama.cpp. Это чисто C/C++ реализация с кучей оптимизаций, поддержкой нескольких битовых квантований и даже гибридным режимом CPU+GPU. Простое скачивание и запуск через командную строку, большой выбор моделей от LLaMA до Falcon, а еще есть удобный сервер с OpenAI-совместимым API. Если любите экспериментировать с ИИ локально – этот проект точно стоит изучить! #ИИ #LLM #OpenSource #Cplusplus #AppleSilicon #МашинноеОбучение #Программирование #AI https://github.com/ggml-org/llama.cpp https://vlad1kudelko.github.io/
llama.cpp — локальный запуск больших языковых моделей 🦙
Если вы хотите попробовать работать с LLM прямо на своём компьютере без сложных зависимостей и с поддержкой Apple Silicon, RISC-V и популярных GPU – обратите внимание на llama.cpp. Это чисто C/C++ реализация с кучей оптимизаций, поддержкой нескольких битовых квантований и даже гибридным режимом CPU+GPU. Простое скачивание и запуск через командную строку, большой выбор моделей от LLaMA до Falcon, а еще есть удобный сервер с OpenAI-совместимым API. Если любите экспериментировать с ИИ локально – этот проект точно стоит изучить!
#ИИ #LLM #OpenSource #Cplusplus #AppleSilicon #МашинноеОбучение #Программирование #AI
https://github.com/ggml-org/llama.cpp
https://vlad1kudelko.github.io/
