Идея простая, но элегичная: берёшь флешку, ставишь туда Ollama, AnythingLLM и локальную модель, после чего получаешь карманного AI-ассистента без облака, логина и постоянного интернета. Что внутри: - запуск с USB на Windows и Mac - Ollama как локальный движок для моделей - AnythingLLM как удобный интерфейс - готовые модели на выбор - поддержка .gguf-моделей - чаты и настройки хранятся на накопителе - после загрузки модели можно работать офлайн Конечно, чудес ждать не надо. Скорость зависит от железа, большие модели требуют места и памяти. GitHub: https://github.com/techjarves/Portable-AI-USB
⚡️ Portable-AI-USB.
Идея простая, но элегичная: берёшь флешку, ставишь туда Ollama, AnythingLLM и локальную модель, после чего получаешь карманного AI-ассистента без облака, логина и постоянного интернета.
Что внутри:
- запуск с USB на Windows и Mac
- Ollama как локальный движок для моделей
- AnythingLLM как удобный интерфейс
- готовые модели на выбор
- поддержка .gguf-моделей
- чаты и настройки хранятся на накопителе
- после загрузки модели можно работать офлайн
Конечно, чудес ждать не надо. Скорость зависит от железа, большие модели требуют места и памяти.
GitHub: https://github.com/techjarves/Portable-AI-USB
