380 подписчиков
Мой месяц работы с нейросетями на MacBook Air 13 M3 или ноутбук по цене RTX 4090
Забегая вперед, напишу сразу ключевой вывод касаемо нейросетей:
Если вы хотите профессионально работать с нейросетями, то купите стационарный ПК. Если вам нужна мобильность - возьмите на эти деньги игровой ноутбук на Nvidia RTX 4070.
Но если вы как и я мазохист энтузиаст, то дальше мы поговорим о тонкостях работы с нейронками на MacBook Air на базе процессора Apple M1/M2/M3, а также рассмотрим ключевые программы и клиенты по работе с Stable Diffusion, LLM и т.д.
Первая сложность подстерегает на этапе покупки. Если вы все таки надумали брать Mac и работать с нейросетями, то не берите модель на 8 Gb оперативной памяти. Основная проблема заключается в том, что эта память делится между графическим ускорителем, оперативкой и Neural Engine, поэтому этого очень мало. Да, Mac активно выгружает данные в swap (файл подкачки), но тем самым резко замедляя работу программы. Поэтому возьмите на 16 Гигабайт, точно лишним не будет. Я же взял самую младшую модель чтобы как можно сильнее страдать попытаться выпускать сборки, работающие и на таком количестве оперативной памяти.
Итак, с чем же мы можем поработать с таким количеством памяти? Пробежимся по наиболее интересным программам с простой установкой. Про запуск классических вещей, вроде ComfyUI, Stable-Diffusion-WebUI мы поговорим в другой раз, так как тема достаточно обширная.
Генерация изображений. Stable Diffusion.
Рекомендую начать с DiffusionBee. Программа чем то напоминает по логике работы на Fooocus, но с оптимизациями под Mac из коробки.
Тут у нас есть все, необходимое для базовой работы с генерациями:
- Позитивный и негативный промпт,
- Выбор сэмплера, seed, шагов генерации и т.д
- Набор стилей и возможность работы с ControlNet.
- Есть поддержка как SD 1.5 так и SD XL.
- Inpaint, ControlNet, Upscale
- Возможность файн-тюна модели.
Также интересным вариантом является Dreamix (или Dream Fusion)
Здесь есть почти все те же самые возможности, что и в DiffusionBee, но есть и отличительные моменты:
- Поддержка SD 1.5, SD XL и SD 3
- Есть поддержка Lighting моделей SD XL
- Есть Face Enhancer и Image Cleaner (используется модель из Lama Cleaner)
- Есть возможность удаления заднего фона
В качестве альтернативы можете посмотреть в сторону MochiDiffusion. Функционала там поменьше, но данная программа позиционируется как более оптимизированная под Mac, хотя лично у меня с ней возникли только проблемы.
Генерация текста (LLM):
С LLM у нас все более привычно. Как вариант, можем взять уже знакомые многим ollama или LM Studio. Последняя имеет графическую оболочку по умолчанию и огромное количество гайдов в интернете, поэтому начать с нее будет попроще. Главное, выбирайте модельки, которые точно влезут в вашу память (размером до 4-5Gb), иначе получите дичайшее замедление работы. Новенькая gemma-2-2B работает весьма шустро, со скоростью около 20 токенов / секунду.
К слову, на MacBook на базе M1/M2/M3 есть официальное приложение ChatGPT, с голосовым ассистентом, что довольно удобно.
Можно ли быстрее?
Да, можно. Apple разработала собственный фреймворк под названием MLX, о котором мы поговорим в следующих постах, посвященных работе с нейронками на Макбуках.
—
А какие программы, клиенты, утилиты используете вы? Какой у вас был опыт от работы? Что бы вам было интересно узнать в следующих постах? Ответы пишите в комментариях, а также было бы здорово, если бы вы поделились какими-то удачными примерами и кейсами из своей работы, связанными с нейронками и MacOS.
#macbook #macos #m1 #m2 #m3 #stablediffusion #llm
2 минуты
4 августа 2024
282 читали