В этой статье мы расскажем как использовать приложение MNN LLM для полностью бесплатного и автономного использования LLM (большие языковые модели, нейросети если проще). А именно мы настроим новомодную DeepSeek, а также Qwen и другие.
Главная особенность MNN LLM — это автономная работа приложения. Вам достаточно один раз скачать языковую модель на телефон, после чего она будет работать автономно без интернета — достаточно иметь мощный смартфон с процессором Snapdragon серии 600 и мощнее.
Важно: скачивание языковой модели требует много трафика — от одного до нескольких гигабайт, поэтому лучше делать это на Wi-Fi.
Инструкция
Покажем работу приложения на примере языковой модели DeepSeek 7B.
1) Скачайте приложение MNN LMM с телеграм-канала @EasyAPK и установите. Запустите приложение, найдите языковую модель deepseek-llm-7b-chat-MNN, нажмите на нее — запустится загрузка. Дождитесь ее завершения.
2) После завершения загрузки нажмите на языковую модель — откроется чат и начнется запуск LLM. На слабых телефонах запуск LLM может длиться довольно долго, но на мощных это не более минуты.
3) По завершению запуска LLM можно начинать общение с нейросетью. Важно: скорость генерации текста напрямую зависит от мощности вашего смартфона.
История
Чтобы вернуться к истории общения с языковой моделью нужно нажать на бургер-меню слева сверху и выбрать чат. Тогда загрузится соответствующая языковая модель вместе с историей чата.
Другие модели (Qwen, Llama)
Также в MNN можно использовать различные другие языковые модели. Вот что мы можем порекомендовать:
Qwen-Chat — хороший аналог Chat GPT и DeepSeek. Текстовый чат.
Qwen-VL — распознает содержимое изображений (на английском)
Llama 3 — мощная языковая модель от Meta. Текстовый чат.