MLX LM – текстовые модели на Apple Silicon 🍏🤖
Если у вас Mac на Apple Silicon и вы хотите поиграться с большими языковыми моделями (LLM), обратите внимание на MLX LM. Это Python-библиотека, позволяющая легко запускать, дообучать и квантовать модели прямо на вашем ноуте или десктопе. Особенно круто то, что MLX LM интегрируется с Hugging Face Hub, откуда можно одним коммандным вызовом загрузить тысячи готовых моделей — от Llama до Mistral и Qwen.
Возможности MLX LM включают распределённое обучение, поддержку 4-битной квантзации, а также удобный CLI и API для потоковой генерации текста. Есть инструменты для ускорения работы с большими контекстами и кэширования промтов.
Отличный проект для тех, кто хочет быстро стартовать с языковыми моделями на Mac и экспериментировать с тонкой настройкой.
#искусственныйинтеллект #машиннообучение #apple #python #нейросети #huggingface #программирование #opensource
https://github.com/ml-explore/mlx-lm
https://vlad1kudelko.github.io
