Запуск модели ИИ без подключения к интернету звучит прекрасно, но обычно требует мощного и дорогостоящего оборудования. Однако это не всегда так: модель R1 от DeepSeek является отличным вариантом для менее мощных устройств, и установка ее удивительно проста.
Что Значит Запуск Локального Чат-Бота ИИ?
Когда вы используете онлайн-чат-ботов ИИ, таких как ChatGP, ваши запросы обрабатываются на серверах OpenAI, что означает, что ваше устройство не выполняет основную работу. Вам требуется постоянное интернет-соединение для общения с чат-ботами ИИ, и вы не контролируете свои данные полностью. Большие языковые модели, которые питают чат-ботов ИИ, такие как ChatGPT, Gemini, Claude и другие, крайне требовательны к ресурсам, так как они используют графические процессоры с большим объемом видеопамяти. Именно поэтому большинство моделей ИИ находятся в облаке.
Локальный чат-бот ИИ устанавливается прямо на ваше устройство, как любое другое программное обеспечение. Это означает, что вам не нужно постоянное интернет-соединение для использования чат-бота ИИ, и можно отправлять запросы в любое время. DeepSeek-R1 — это локальная LLM, которую можно установить на множество устройств. Его упрощенная модель на 7 миллиардов параметров работает хорошо на среднем оборудовании, позволяя мне генерировать ответы ИИ без облачной обработки. Проще говоря, это обеспечивает более быстрые ответы, лучшую конфиденциальность и полный контроль над моими данными.
Как Я Установил DeepSeek-R1 на Своем Ноутбуке
Запуск DeepSeek-R1 на вашем устройстве довольно прост, но имейте в виду, что вы используете менее мощную версию по сравнению с онлайн-чат-ботом DeepSeek. Чат-бот DeepSeek использует около 671 миллиарда параметров, в то время как DeepSeek-R1 имеет около 7 миллиардов.
Для загрузки и использования DeepSeek-R1 на вашем компьютере следуйте этим шагам:
Это загрузит модель DeepSeek-R1 на 7B на ваш компьютер, позволяя вам вводить запросы в терминале и получать ответы. Если вы столкнетесь с проблемами производительности или сбоями, попробуйте использовать менее требовательную модель, заменив 7b на 1.5b в вышеописанной команде.
Хотя модель отлично работает в терминале, если вы хотите полнофункциональный интерфейс с правильным текстовым форматированием, как у ChatGPT, вы также можете использовать приложение, такое как Chatbox.
Запуск DeepSeek Локально Не Идеален, Но Он Работает
Как уже упоминалось, ответы не будут такими же хорошими (или быстрыми!), как от онлайн-чат-бота DeepSeek, так как он использует более мощную модель и обрабатывает всё в облаке. Но давайте посмотрим, как показывают себя меньшие модели.
Решение Математических Задач
Чтобы протестировать производительность модели с 7 миллиардами параметров, я дал ей уравнение и попросил решить его интеграл. Я был довольно доволен тем, как хорошо она справилась, особенно учитывая, что базовые модели часто испытывают трудности с математикой.
Сейчас я признаю, что это не самый сложный вопрос, но именно поэтому запуск LLM локально так полезен. Дело в том, чтобы иметь что-то под рукой для обработки простых запросов на месте, а не полагаться на облако для всего.
Отладка Кода
Одно из лучших применений DeepSeek-R1 локально — это помощь в моих проектах ИИ. Это особенно полезно, поскольку я часто программирую в полёте, когда у меня нет доступа к интернету, и сильно полагаюсь на LLM для отладки. Чтобы протестировать, как это работает, я дал ей этот код с преднамеренной глупой ошибкой.
Она легко справилась с кодом, но помните, что я запускал это на MacBook Air с процессором M1 и всего 8 ГБ унифицированной памяти. (Унифицированная память делится между CPU, GPU и другими частями SoC.)
С открытым IDE и несколькими вкладками браузера производительность моего MacBook заметно упала — пришлось принудительно закрыть все приложения, чтобы он снова заработал. Если у вас 16 ГБ оперативной памяти или даже средний GPU, вы, скорее всего, не столкнетесь с такими проблемами.
Я также тестировал его с большими кодовыми базами, но он застрял в цикл размышления, поэтому я бы не полагался на него, чтобы полностью заменить более мощные модели. Тем не менее, он все ещё полезен для быстрого создания небольших фрагментов кода.
Решение Загадок
Мне также было интересно, насколько хорошо модель справляется с загадками и логическим мышлением, и я протестировал её на задаче Монти Холла, с которой она справилась легко, но я действительно начал ценить DeepSeek по другой причине.
Как видно из скриншота, он не просто выдает ответ — он проводит вас через весь процесс размышлений, объясняя, как пришел к решению. Это подтверждает, что он размышляет над задачей, а не просто восстанавливает запомненный ответ из своих обучающих данных.
Исследовательская Работа
Одним из самых больших недостатков работы LLM локально является устаревшая база знаний. Поскольку он не может получить доступ к интернету, найти надежную информацию по недавним событиям может быть сложно. Это ограничение проявилось в моем тестировании, но стало еще более очевидным, когда я попросил краткий обзор оригинального iPhone — он сгенерировал ответ, который был как неверным, так и непроизвольно смешным.
Первый iPhone, очевидно, не вышел с iOS 5, и он не появился после несуществующего "iPhone 3". Он почти всё перепутал. Я протестировал его на нескольких других простых вопросах, но неточности продолжались.
После утечки данных DeepSeek стало успокаивающим осознанием, что я могу запускать эту модель локально, не беспокоясь о том, что мои данные будут раскрыты. Хотя он и не идеален, наличие офлайн-ассистента ИИ — это огромный плюс. Я был бы рад увидеть больше моделей такого рода, интегрированных в потребительские устройства, такие как смартфоны, особенно после моего разочарования в Apple Intelligence.
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Любите активный отдых на природе? Подписывайтесь на канал Поход лайфхак в Яндекс Дзен — кладезь полезных советов для любителей активного отдыха!
Вы также можете читать наши материалы в:
- Telegram: https://t.me/gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru