В данном разделе представлено детальное руководство по запуску модели DeepSeek R1 на Raspberry Pi 5 с использованием платформы Ollama. Мы рассмотрим все этапы, включая проверку совместимости, установку, настройку и возможные ограничения, связанные с аппаратными возможностями устройства.
Введение
DeepSeek R1 — это открытая большая языковая модель (LLM), разработанная DeepSeek AI, предназначенная для задач, требующих рассуждений, и демонстрирующая производительность, сравнимую с моделями OpenAI-o1. Ollama, в свою очередь, представляет собой инструмент для локального запуска LLM на вашем устройстве, поддерживающий различные архитектуры, включая ARM64, что делает его подходящим для Raspberry Pi 5.
Raspberry Pi 5, оснащенный 2.4 ГГц четырехъядерным процессором Arm A76 и до 8 ГБ ОЗУ, позволяет запускать легкие модели LLM, но из-за отсутствия мощного GPU для ускорения ИИ-вычислений производительность может быть ограничена. Это особенно актуально для моделей, требующих значительных вычислительных ресурсов, таких как DeepSeek R1 в больших размерах (например, 70b).
Совместимость и требования
Перед началом работы необходимо убедиться, что Raspberry Pi 5 соответствует требованиям:
- Операционная система: Должна быть установлена 64-битная версия Raspberry OS. Проверить архитектуру можно командой uname -m, ожидаемый результат — aarch64. Если возвращается armv7l, это указывает на 32-битную систему, которая не поддерживается Ollama.
- ОЗУ: Для моделей размером 1.5b достаточно 8 ГБ ОЗУ, что соответствует стандартной конфигурации Raspberry Pi 5 8GB. Для моделей 7b и выше может потребоваться больше памяти, что может вызвать проблемы на устройствах с 4 ГБ ОЗУ.
- Дисковое пространство: Модель deepseek-r1:1.5b занимает около 2.5 ГБ, поэтому убедитесь, что на microSD-карте достаточно свободного места (рекомендуется минимум 32 ГБ для комфортной работы).
Установка Ollama
Процесс установки Ollama прост и автоматизирован. Выполните следующие шаги:
- Обновите список пакетов и систему для обеспечения последней версии программного обеспечения:
sudo apt update
sudo apt upgrade - Загрузите и выполните установочный скрипт Ollama:
curl -fsSL https://ollama.com/install.sh | sh
Этот скрипт автоматически скачивает и устанавливает последнюю версию Ollama, адаптированную под архитектуру aarch64. - Проверьте успешность установки, выполнив:
ollama version
Должно отобразиться номер версии, например, "Ollama 0.1.30".
Выбор и загрузка модели DeepSeek R1
DeepSeek R1 доступен в нескольких размерах: 1.5b, 7b, 8b, 14b, 32b, 70b. Учитывая ограниченные ресурсы Raspberry Pi 5, рекомендуется использовать самую легкую версию — deepseek-r1:1.5b. Эта модель оптимизирована для работы на устройствах с ограниченными ресурсами и занимает около 2.5 ГБ дискового пространства.
Для загрузки модели выполните:
- ollama pull deepseek-r1:1.5b
- Ollama автоматически скачает модель из своего репозитория и подготовит ее к запуску. Вы можете проверить список доступных моделей командой ollama list.
Заключение
Запуск DeepSeek R1 на Raspberry Pi 5 через Ollama возможен и удобен для экспериментов с локальными LLM, обеспечивая конфиденциальность и автономность. Однако из-за аппаратных ограничений рекомендуется использовать легкие модели, такие как deepseek-r1:1.5b, и быть готовым к медленной производительности.