Популярный ютубер Дейв Ли (известный как Dave2D) продемонстрировал, как новый Mac Studio, оснащённый чипом M3 Ultra, может локально и эффективно запускать крупную версию модели искусственного интеллекта DeepSeek R1. Однако для этого устройство должно быть оснащено максимальным объёмом памяти — 512 ГБ.
Тестирование DeepSeek R1
Согласно тестам Ли, ИИ-модель с 671 миллиардом параметров может выполняться непосредственно на высокопроизводительной рабочей станции Apple. Однако для этого требуется значительный объём ресурсов:
- Модель занимает 404 ГБ дискового пространства.
- Для работы требуется вручную выделить 448 ГБ виртуальной оперативной памяти через команды в терминале.
Ключевым фактором успеха является унифицированная архитектура памяти M3 Ultra, которая позволяет системе эффективно обрабатывать 4-битную квантизированную версию DeepSeek R1. Квантизация немного снижает точность, но сохраняет все параметры модели и обеспечивает производительность около 17–18 токенов в секунду, что достаточно для многих практических применений.
Эффективность энергопотребления
Одним из самых впечатляющих аспектов является энергоэффективность системы. Mac Studio справляется с этой задачей, потребляя менее 200 Вт электроэнергии. Для сравнения, аналогичная производительность на традиционных ПК потребовала бы нескольких графических процессоров, которые бы потребляли примерно в 10 раз больше электроэнергии.
Видео в Telegram: https://t.me/applespbevent_video/86
Возможность запускать такие сложные ИИ-модели локально предоставляет важные преимущества в плане конфиденциальности. Например, в таких чувствительных областях, как анализ медицинских данных, передача информации в облачные сервисы может вызывать серьёзные опасения по поводу безопасности. Локальная обработка на Mac Studio позволяет избежать этих рисков.
Высокая стоимость
Такая производительность, однако, имеет свою цену. Конфигурация Mac Studio с M3 Ultra и 512 ГБ RAM начинается от $10 000. Полностью укомплектованная версия с 16 ТБ SSD-накопителя, 32-ядерным CPU, 80-ядерным GPU и 32-ядерным Neural Engine обойдётся в $14 099.
Для организаций, которым требуется локальная обработка чувствительных данных, Mac Studio предлагает относительно энергоэффективное решение по сравнению с альтернативными аппаратными конфигурациями.
Apple называет M3 Ultra самым быстрым чипом, который компания когда-либо выпускала. Секрет его производительности заключается в технологии UltraFusion, которая объединяет два чипа M3 Max в один. Благодаря этому характеристики M3 Ultra вдвое превышают показатели M3 Max:
- 32-ядерный CPU
- 80-ядерный GPU
- 32-ядерный Neural Engine
Это делает M3 Ultra идеальным выбором для работы с ресурсоёмкими задачами, такими как обработка больших ИИ-моделей.
Итог
Mac Studio с M3 Ultra демонстрирует впечатляющие возможности в области локальной обработки данных, особенно с учётом его энергоэффективности. Однако высокая стоимость делает его доступным в основном для профессионалов и организаций, где безопасность и производительность играют ключевую роль.
Ещё по теме: