Бесплатная замена ChatGPT, которая работает полностью офлайн.
Современный смартфон превратился в дорогой терминал для доступа к чужим серверам. Мы платим за подписки OpenAI или Google, отдаем им свои данные, а взамен получаем доступ к нейросетям, которые в любой момент могут «отвалиться» из-за плохого интернета или санкций. Проект LLM Hub наглядно доказывает: ваше железо способно на большее. Это open-source приложение для Android переносит мощь языковых моделей и генераторов картинок прямо в память телефона. Никаких аккаунтов, никаких облаков — только вы и чистая математика процессора.
Больше, чем просто чат
Большинство мобильных ИИ-приложений — это просто «обертки» над чужими API. LLM Hub работает иначе. Он использует движки MediaPipe, LiteRT и Nexa SDK, чтобы запускать веса моделей локально. Но разработчики пошли дальше обычного текстового окна. Внутри спрятан целый комбайн инструментов, за которые корпорации обычно просят деньги.
Особенно зацепил Vibe Coder. Это полноценная среда, где нейросеть пишет код на HTML, JS и CSS по вашему запросу, а вы тут же видите результат в защищенной песочнице. Для быстрой наброски интерфейсов или простых калькуляторов — идеальная штука. Есть еще creAItor — инструмент для создания специфических ИИ-персон. Можно в пару кликов собрать себе «технического архитектора», который будет отвечать строго по существу, или «пирата» для забавы. Приложение само генерирует сложный системный промпт, чтобы модель не выходила из роли.
Железо, форматы и магия NPU
Давайте сразу о приземленном: чтобы эта радость не превратила телефон в обогреватель, нужно понимать, как устроено ускорение. LLM Hub поддерживает работу через CPU, GPU и даже NPU (нейронный сопроцессор). Если у вас свежий флагман вроде Snapdragon 8 Gen 4, можно задействовать NPU на полную катушку — это дает феноменальную скорость отклика без дикого жора батареи.
Проект поддерживает кучу форматов, но новичку легко запутаться. Есть формат .task (оптимизирован от Google), который заводится почти везде, и привычный по десктопам .gguf. С последним есть нюанс: поддержка GGUF на Android зависит от конкретной архитектуры и библиотек устройства. На некоторых смартфонах такие модели могут просто не завестись, даже если файл валиден. Зато если завелись — вы получаете доступ к огромной библиотеке квантованных моделей с Hugging Face: от крошечных Gemma до вполне вменяемых Llama 3 и Mistral.
Цифровая крепость в кармане
Главный аргумент в пользу LLM Hub — приватность. Здесь нет функции «отправить историю разработчику» или «улучшить модель на ваших данных». Все переписки, сгенерированные картинки (да, тут встроен Stable Diffusion 1.5) и распознанные аудиозаписи остаются внутри папки приложения.
Приятно удивил Kid Mode. Можно поставить PIN-код и активировать жесткие фильтры на уровне инференса. В отличие от цензуры в ChatGPT, которая часто доходит до абсурда, здесь это работает как прозрачный предохранитель: вы сами решаете, какой контент допустим для ребенка, не полагаясь на моральный кодекс корпорации из Долины. При этом приватность сохраняется — никакие отчеты о действиях детей не улетают в облако.
Нюансы и порог входа
Приложение требует времени на «допилить под себя». Это не тот случай, когда нажал кнопку и всё полетело. Придется зайти в настройки, выбрать нужную модель, скачать её (некоторые весят по 2-4 ГБ) и протестировать, какой метод ускорения лучше подходит вашему железу. Да, интерфейс на Material 3 выглядит опрятно, но обилие настроек может отпугнуть тех, кто привык к минимализму.
С другой стороны, это честная сделка. Вы тратите 15 минут на настройку и получаете инструмент, который не просит есть, не требует VPN и работает в самолете или в лесу. Это и есть та самая цифровая независимость, о которой мы часто забываем за удобством платных подписок.
А вы пробовали запускать нейросети на телефоне или считаете, что мобильные процессоры пока для этого слабоваты?
Источник: LLM Hub
🔔 Подпишитесь на канал, если хотите, чтобы ваш смартфон работал на вас, а не на статистику корпораций. Разбираем только практичный софт. 📰