6 подписчиков
Попробовал на днях утилиту llmfit, которая значительно облегчила мне подбор подходящих языковых моделей для домашнего сервера/арм.
Раньше я использовал llm-explorer.com для поиска подходящих моделей, но часто сталкивался с трудностями при выборе оптимального баланса между качеством и требуемыми ресурсами.
Теперь достаточно установить llmfit на целевую систему и запустить - утилита сама покажет, какие модели совместимы с вашими характеристиками.
Ключевые возможности:
- Автоопределение характеристик
- Удобный TUI-интерфейс для фильтрации и просмотра моделей
- Подробная информация о каждой модели
- Поддержка работы через API
- Интеграция с локальными раннерами Ollama, llama.cpp, MLX (Apple Silicon)
- Возможность скачивания моделей с HuggingFace
- Подсказки по требуемому железу для конкретной модели
- Вывод результата в JSON
- Настройки позволяющие задать VRAM, размер контекста и т.д.
Важные нюансы:
- База данных моделей обновляется при сборке утилиты
- Для работы с llama.cpp требуется ее локальная установка или настройка алиасов с монтированием директории при условии использования Docker-контейнера
В качестве практики установил:
- nomic-embed-text-v1.5 через Ollama для индексации кода в Qdrant с использованием sourcecraft assystant
- DeepSeek-Coder-V2-Lite-Instruct через llama.cpp для локального использования и изучения
Ссылки:
llmfit: github.com/...fit
LLM Explorer: llm-explorer.com
1 минута
13 марта