Краткое содержание
DeepSeek — это новый ИИ из Китая, который вызвал немало обсуждений в индустрии ИИ. Большая часть внимания сосредоточена на мощной модели, опережающей ChatGPT, однако существуют различные модели DeepSeek, которые можно запустить на обычном компьютере, и результаты в моем Mac впечатляют.
Как запустить DeepSeek на Mac
Существует два способа запустить DeepSeek на вашем Mac — через Ollama (с интерфейсом Docker) или LM Studio. Я пробовал оба варианта, но метод с LM Studio оказался намного проще.
Что такое DeepSeek и почему ChatGPT следует беспокоиться?
Искать и находить?
Сначала перейдите на сайт загрузки LM Studio, скачайте и установите приложение. После установки запустите его. При первом запуске вы увидите экран приветствия. Нам предлагают модель DeepSeek с 7B параметрами, и это хороший старт. Однако я хочу запустить более обширную модель, поэтому выберем "Пропустить приветствие".
Поскольку у нас нет загруженных моделей, введите "DeepSeek" в строке поиска в верхней части окна LM Studio и нажмите Enter.
Я искал "DeepSeek 14B", что является самой крупной моделью, которую мой MacBook может адекватно запустить. У вас появится несколько вариантов, многие из которых настроены сообществом. Выберите любую из них и нажмите "загрузить".
После завершения загрузки модели снова щелкните по строке поиска в верхней части окна LM Studio, и вы увидите загруженные модели.
После выбора модели вы увидите параметры для неё. На данном этапе можно оставить параметры по умолчанию. Нажмите "Загрузить модель", и мы готовы начать задавать вопросы LLM.
Характеристики моего Mac
Поддержка работы любой из моделей DeepSeek на адекватной скорости зависит от характеристик вашего MacBook. В моем случае это MacBook Pro с чипом M4 и 24 ГБ ОЗУ. Количество ОЗУ имеет решающее значение, так как вся модель должна помещаться в память вашего процессора для корректной работы, иначе скорость может быть не приемлемой.
Обзор Apple MacBook Pro M4 Pro: Apple создала шедевр
Шаг к совершенству.
Вот почему я могу запустить модель 14B — она легко помещается в 24 ГБ ОЗУ, но если у вас Mac с 8 ГБ, то вы ограничены моделями 7B или меньшими, и даже тогда работа может быть не очень стабильной. В любом случае, попробуйте запустить любую модель на вашем Mac. Худшее, что может случиться, — это что-то не будет работать должным образом, но она может все равно подойти вам.
Установка и использование ИИ-чатботов у себя дома с Ollama
Попробуйте своего собственного ИИ-чатбота в частном и безопасном режиме у себя дома.
Сравнение DeepSeek 14B с ChatGPT o3 Mini
Как же это работает на практике? Самый простой способ продемонстрировать — это задать одинаковые запросы и DeepSeek 14B на моем Mac, и ChatGPT o3 Mini.
Вот первый запрос:
Напиши короткое сопроводительное письмо от Микки Мауса с заявкой на работу на фабрике по производству ловушек для мышей.
Вот результаты.
Обе модели предоставили внятные и грамматически правильные ответы, но очевидно, что o3 Mini намного лучше передал характер Микки Мауса.
Затем я спросил:
Объясни солнечную энергию на уровне 5-го класса.
Результаты тоже неплохие, но версия o3 Mini, на мой взгляд, написана лучше.
Можно продолжать сравнивать весь день, и я это делал! Какое-то общее впечатление — эта модель 14B, по крайней мере, на уровне того, как хорошо ChatGPT был в момент своего первого выпуска.
Однако по сравнению с o3 Mini, она явно не так умна. Тем не менее, она более чем достаточно умна, чтобы выполнять все то, что меня радовало в оригинальном ChatGPT, и, учитывая, что она работает локально на моем маленьком ноутбуке, это действительно значительный шаг вперед. Даже если она отвечает на мои вопросы в десять раз дольше, это всё равно менее чем за минуту в большинстве случаев. Конечно, спецификации вашего процессора влияют на это.
Некоторые вещи, которые стоит учитывать
Теперь, хотя я настоятельно рекомендую всем попробовать локальную версию DeepSeek, которая не записывает ваши личные данные на серверах где-то в Китае, стоит учитывать некоторые моменты.
Во-первых, внимательно выбирайте модель, которую используете. Существует множество отрегулированных версий DeepSeek, и некоторые из них могут быть лучше или хуже для ваших целей. Во-вторых, полноценная модель DeepSeek, которая действительно конкурирует с лучшими моделями ChatGPT, — это громадина на 671B, требующая мощной компьютерной системы с сотнями ГБ ОЗУ для работы. Эти маленькие модели 7B и 14B далеко не так умны и чаще генерируют чушь.
Существует много причин запускать один из этих LLM локально, но не попадайтесь в ловушку: миссией онлайн версий является быть умными и точными, а меньшие модели не могут сравниться с ними. Тем не менее, это больше чем просто интересная игрушка. Я, например, оставлю DeepSeek на своем Mac, потому что даже если она в десять раз медленнее и в десять раз менее интеллектуальна, чем лучшие из ИИ-решений в дата-центрах, это все равно достаточно умно для большинства потребностей людей в LLM.
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Вы также можете читать наши материалы в:
- Telegram: https://t.me/gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru
