Jan — это неплохо open-source проект, который замахнулся на конкуренцию с ChatGPT, но работает полностью оффлайн :)
Недавно вышел релиз v0.6.0, и авторы конкретно улучшили софт. Новый дизайн интерфейса, переход с Electron на Tauri, поддержка кастомных ассистентов и куча мелких фиксов — больше 100.
Плюс, можно запускать модели вроде Llama или Qwen с HuggingFace прямо на компе, а для тех, кто хочет в облако, есть интеграция с OpenAI, Anthropic и другими. Всё это под Apache 2.0 лицензией, так что бери и вноси свой код :)
Некоторые, правда, на Reddit жалуются, что поддержка PDF-файлов пока хромает, а автоматическое распределение нагрузки между GPU и CPU ещё не завезли — надо ручками настраивать. Кто-то хочет больше возмоностей, вроде редактирования ответов или запуска нескольких моделей одновременно. Но в целом комьюнити в восторге: 234 апвоута на пост в r/LocalLLaMA, 31.9k звёзд на GitHub и 81 контрибьютор.
Короче, Jan — это мощный инструмент для тех, кто хочет свой локальный ИИ... Интересно. Я себе на Mac поставил и попробую подключиться к Gemini :) (мне локальная ИИ не нужна).
