Библиотека AirLLM позволяет запускать крупные 405B-модели на бюджетных ПК и маломощных видеокартах с 4 ГБ памяти. • Инструмент сжимает параметры нейросети без потери функционала. • Поддерживаются любые видеокарты и процессоры, даже без GPU. • Есть интеграция с моделями Hugging Face. • Совместима с популярными форматами LLM: OCR-модели, чат-боты, генераторы изображений и другие. https://dzen.ru/id/5c0e38ff46ef5c00aaa80527
AirLLM запускает крупные LLM на видеокартах с 4 ГБ
Библиотека AirLLM позволяет запускать крупные 405B-модели на бюджетных ПК и маломощных видеокартах с 4 ГБ памяти.
• Инструмент сжимает параметры нейросети без потери функционала.
• Поддерживаются любые видеокарты и процессоры, даже без GPU.
• Есть интеграция с моделями Hugging Face.
• Совместима с популярными форматами LLM: OCR-модели, чат-боты, генераторы изображений и другие.
https://dzen.ru/id/5c0e38ff46ef5c00aaa80527
