AirLLM запускает крупные LLM на видеокартах с 4 ГБ
Библиотека AirLLM позволяет запускать крупные 405B-модели на бюджетных ПК и маломощных видеокартах с 4 ГБ памяти. • Инструмент сжимает параметры нейросети без потери функционала. • Поддерживаются любые видеокарты и процессоры, даже без GPU...
