Помните наши разговоры о том, что современные сверхмощные настольные Маки теперь нужны не столько для обработки видео или графики, сколько для работы с локальным ИИ? Известный разработчик Федерико Витиччи решил проверить эту теорию на практике, получив для тестов новую рабочую станцию Mac Studio с процессором M3 Ultra, 512GB оперативной памяти и накопителем на 8TB.
Главный фокус тестирования был направлен на работу с локальными моделями искусственного интеллекта. В частности, Витиччи запустил масштабную языковую модель Qwen3-235B-A22B, использующую 235 миллиардов параметров. При тестировании двух форматов — стандартного GGUF и оптимизированного под процессоры Apple фреймворка MLX — последний показал лучшие результаты: 24 токена в секунду против 16, при этом потребляя меньше памяти (124 ГБ против 133 ГБ). Что примечательно, система охлаждения компьютера работала практически бесшумно.
Отдельное внимание было уделено тестированию визуальных моделей машинного обучения. Mac Studio успешно справился с анализом скриншота, содержащего 40 действий, за 3,5 минуты при использовании около 100 ГБ оперативной памяти. Для сравнения: облачному сервису ChatGPT на подобную задачу потребовалось почти 7 минут, при этом качество распознавания оказалось заметно хуже.
Витиччи подчеркивает преимущества локальной обработки данных на мощном компьютере: не нужно загружать конфиденциальные документы в облако, время обработки существенно меньше, а результаты точнее. В планах у разработчика — дальнейшие эксперименты с фреймворком MLX и тестирование новой модели Gemma 3 от Google. Похоже, что Mac Studio становится идеальной платформой для энтузиастов искусственного интеллекта — было бы только место на столе для этой симпатичной алюминиевой коробочки. Ну и деньги в бюджете...
Подробнее по ссылке.
