В данной статье мы рассмотрим процесс развертывания модели DeepSeek на вашем сервере, что позволит использовать ИИ в защищённой и управляемой среде.
Запуск модели DeepSeek на локальных ресурсах значительно повышает производительность нейросети, обеспечивая высокую конфиденциальность данных и предоставляя возможность гибкой настройки под конкретные задачи пользователя. С помощью данного руководства вы сможете развернуть DeepSeek и настроить ограничение доступа к модели для нескольких устройств в вашей локальной сети.
Какая модель будет использоваться?
DeepSeek-R1 — это продвинутая модель с 671 миллиардами параметров и архитектурой Mixture of Experts. Для её запуска потребуется около 1,5 ТБ видеопамяти, что является довольно высокими требованиями для большинства домашних систем. В качестве альтернативы можно использовать более легкую модель DeepSeek-R1-Distill-Qwen-7B. Эта версия модели значительно меньше по размеру, но сохраняет большую точность благодаря обучению на данных, сгенерированных оригинальной DeepSeek-R1.
Зачем запускать DeepSeek на собственном сервере?
В рамках статьи под «собственным» сервером подразумевается арендованная машина с GPU в облаке. Это не физический сервер, а виртуальная, изолированная среда с выделенными ресурсами, где вы полностью контролируете все аспекты работы. Такой подход позволяет развернуть DeepSeek в безопасной среде, не рискуя передавать данные внешним сервисам.
Преимущества использования облачного сервера для DeepSeek:
- Конфиденциальность: Все данные остаются внутри вашей инфраструктуры, не передаются в сторонние сервисы и не обрабатываются за пределами вашей зоны контроля.
- Высокая производительность: Облачные серверы с GPU (например, NVIDIA L40S) предоставляют максимальную эффективность при обучении и инференсе нейросетей.
- Гибкость настроек: Вы можете выбрать необходимую конфигурацию сервера: объём видеопамяти, тип процессора, количество оперативной памяти, тип дисков, а также изменить её по мере необходимости.
- Отсутствие затрат на оборудование: Не нужно инвестировать в дорогостоящее железо, настраивать и поддерживать его — инфраструктура уже готова к использованию.
- Понимание нейросетевых технологий: Разворачивая модель самостоятельно, вы получаете более глубокое понимание работы нейросетей и их внутренней структуры.
Стоит ли разворачивать модель на физическом сервере?
Такой вариант возможен, если у вас уже есть подходящее оборудование. Однако он связан с рядом недостатков:
- Высокие расходы на приобретение видеокарт с большим объёмом памяти (например, L40S, L4, A100 и другие).
- Необходимость самостоятельного подбора и сборки оборудования.
- Значительные энергетические затраты на сервер.
- Постоянная необходимость в технической поддержке и обновлении оборудования.
Для большинства пользователей облачная инфраструктура будет более удобным и экономически оправданным решением, так как она легко масштабируется под ваши нужды, не требует технического обслуживания и доступна для быстрого старта.
Что нужно для запуска DeepSeek?
Чтобы обеспечить стабильную работу модели и её эффективное функционирование, необходимо наличие сервера с соответствующими характеристиками. Рекомендуемая минимальная конфигурация для запуска DeepSeek-R1:7B:
- Процессор: минимум 12 ядер (например, AMD EPYC 9374F или Intel Xeon Gold 6354).
- Видеокарта: NVIDIA с поддержкой CUDA (например, NVIDIA L4 или NVIDIA L40S). Возможна работа на AMD, однако это менее распространённый вариант.
- Оперативная память: минимум 16 ГБ, для более крупных моделей — от 32 ГБ.
- Дисковая система: NVMe-накопители с высокой скоростью обмена данными и низкой задержкой.
- Операционная система: для полной совместимости рекомендуются Ubuntu или её производные.
Такую конфигурацию можно арендовать в mClouds, что позволит избежать затрат на покупку собственного оборудования, обеспечить необходимую гибкость для масштабирования и достичь высокой производительности при работе с DeepSeek.
Установка DeepSeek
Поскольку процесс запуска модели DeepSeek будет происходить на облачном сервере, то для начала необходимо арендовать его через личный кабинет mClouds. В статье будем использовать тарифный план X4-8GB: NVIDIA L4 8 Гб, CPU Intel Xeon Gold 6354 3.9 Ггц, RAM - 16 Гб, SSD - 90 Гб. Такой сервер полностью подходит для запуска моделей DeepSeek.
Отдельно стоит отметить, что после заказа специалисты техподдержки подготовят сервер для работы с нейросетями и установят необходимые драйверы. Вам останется только подключиться к серверу и приступить к работе.
Устанавливать DeepSeek будем через Ollama — это инструмент, предназначенный для локального запуска моделей ИИ. Откройте терминал и запустите:
curl -fsSL https://ollama.com/install.sh | sh
Эта команда загружает и выполняет скрипт установки Ollama. Во время установки Ollama автоматически настроится и запустит необходимые службы. После завершения процесса проверьте установку:
ollama --version
Чтобы проверить, запущена ли Ollama, используйте:
systemctl is-active ollama.service
Если вывод равен active, то служба запущена, и можно перейти к следующему шагу.
Если нет, запустите ее вручную:
sudo systemctl start ollama.service
Чтобы всегда запускать службу при загрузке системы, выполните:
sudo systemctl enable ollama.service
Чтобы загрузить и запустить 7b модель, используйте команду:
ollama run deepseek-r1:7b
Подключение через веб-интерфейс Open WebUI
Для удобной работы с DeepSeek установите Open WebUI — централизованную панель управления.
Способ 1. Через установщик пакетов Python pip:
pip3 install open-webui
Способ 2. Через Snap:
sudo apt update
sudo apt install snapd
sudo snap install open-webui --beta
Запуск Open WebUI:
После установки запустите Open WebUI с помощью команды:
open-webui serve
Если предыдущие шаги выполнены верно, то ваш сервер будет доступен по адресу http://localhost:8080, где «localhost» это локальный IP-адрес вашего сервера. Для доступа к серверу с других устройств понадобится сделать ряд действий, которые мы описали в продолжении статьи.
Использование обратного прокси на базе Nginx
Если хотите более гибко управлять трафиком, используйте Nginx в качестве обратного прокси.
1. Установите Nginx:
sudo apt install nginx
2. Создайте конфигурацию обратного прокси-сервера:
sudo vi /etc/nginx/sites-available/deepseek
3. Добавьте следующую конфигурацию:
server {
listen 80;
server_name your-local-domain.local;
location / {
proxy_pass http://localhost:8080;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
4. Включите и перезапустите Nginx:
sudo ln -s /etc/nginx/sites-available/deepseek /etc/nginx/sites-enabled/
sudo nginx -t # Test the configuration
sudo systemctl restart nginx
Теперь доступ к интерфейсу будет осуществляться по адресу:
http://your-local-domain.local
Заключение
Запуск DeepSeek на собственных ресурсах предоставляет больше контроля над нейросетью, повышает ее конфиденциальность и производительность. Такой подход будет полезен разработчикам и ИТ-специалистам, которым важна производительность, автономность и возможность гибкой настройки ИИ.
Максимальной скорости и производительности DeepSeek можно добиться, арендовав облачные серверы с GPU NVIDIA L4 или NVIDIA L40S. Последний вариант это топовое решение для задач с ИИ, обучением и инференсом нейросетей высокой интенсивности. Серверы с GPU доступны для тестирования.
