Пользователи Apple Silicon Mac получат прирост производительности благодаря улучшенному использованию унифицированной памяти в Ollama с поддержкой MLX. — arstechnica.com
Ollama, система времени выполнения для запуска больших языковых моделей на локальном компьютере, внедрила поддержку фреймворка машинного обучения MLX с открытым исходным кодом от Apple (MLX). Кроме того, Ollama заявляет об улучшении производительности кэширования и теперь поддерживает формат NVFP4 от Nvidia для сжатия моделей (NVFP4), что обеспечивает гораздо более эффективное использование памяти в некоторых моделях.
В совокупности эти разработки обещают значительно улучшенную производительность на компьютерах Mac с чипами Apple Silicon (M1 или новее) — и это очень своевременно, поскольку локальные модели начинают набирать обороты так, как этого не происходило ранее за пределами исследовательских и любительских сообществ.
Недавний ошеломляющий успех OpenClaw — который набрал более 300 000 звезд на GitHub, попал в заголовки благодаря экспериментам вроде Moltbook (Moltbook) и стал настоящей одержимостью в Китае в частности — побуждает многих экспериментировать с запуском моделей на своих машинах.
Поскольку разработчики разочаровываются в лимитах запросов и высокой стоимости подписок высшего уровня на такие инструменты, как Claude Code или ChatGPT Codex, эксперименты с локальными моделями для кодирования активизировались. (Ollama также недавно расширила интеграцию с Visual Studio Code.)
Новая поддержка доступна в предварительной версии (в Ollama 0.19) и на данный момент поддерживает только одну модель — вариант Qwen3.5 от Alibaba с 35 миллиардами параметров (35-billion-parameter variant of Alibaba’s Qwen3.5). Требования к оборудованию высоки по меркам обычных пользователей. Пользователям, безусловно, нужен Mac с Apple Silicon, но, согласно анонсу Ollama, им также требуется не менее 32 ГБ оперативной памяти.
,
Кроме того, Ollama теперь использует преимущества новых нейронных ускорителей в графических процессорах серии M5 от Apple, поэтому новейшие Mac должны получить дополнительные преимущества как по токенам в секунду, так и по времени до первого токена.
Локальные модели все еще отстают от передовых моделей в бенчмарках, но мы приближаемся к тому моменту, когда они станут достаточно хороши для некоторых задач, за которые пользователи обычно платили бы по подписке — и, конечно, существуют преимущества конфиденциальности при запуске моделей локально по сравнению с облачными сервисами, хотя мы определенно не рекомендуем конфигурации типа OpenClaw, которые предоставляют моделям глубокий доступ к вашей системе. Основными барьерами остаются настройка (Ollama — это прежде всего инструмент командной строки, хотя доступны и другие интерфейсы) и аппаратные возможности, особенно видеопамять.
MLX от Apple обеспечивает оптимизированный доступ к памяти на чипах Apple, которая совместно используется GPU и CPU, — это иной подход по сравнению с настольными машинами с выделенными графическими процессорами, на которые Ollama ориентировалась ранее. Это никоим образом не устраняет разрыв между облачными и локальными моделями для большинства пользователей, но это потенциально шаг в правильном направлении для современных пользователей Mac.
Ollama не предоставила сроков, когда поддержка MLX выйдет из предварительной версии и распространится на большее количество моделей.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Samuel Axon