⚡️ Полезный список лучших инструментов, чтобы запускать мощные LLM полностью бесплатно и локально на своём ноутбуке
Сейчас это №1 в трендах GitHub. 1. AnythingLLM All-in-one workspace для чата с документами и создания агентов http://github.com/Mintplex-Labs/anything-llm 2. KoboldCpp Лёгкий инструмент, особенно хорош для creative writing и сценариев с персонажами http://github.com/LostRuins/koboldcpp 3. llama.cpp Базовый движок. Очень эффективный и запускается почти на любом железе http://github.com/ggml-org/llama.cpp 4. Open WebUI Удобный веб-интерфейс в стиле ChatGPT, отлично работает с Ollama http://github...