на бюджетных и маломощных ПК. Как она это делает: ⚪ Сжимает параметры нейронной сети, а не файлы — возможности и функционал остаются прежними; ⚪ Сервис поддерживает любую видеокарту, даже на 4 ГБ, или процессор без видеокарты; ⚪ Напрямую поддерживает модели с Hugging Face; ⚪ Поддерживает все популярные форматы LLM: OCR-модели, чат-боты, генераторы изображений и тд. Забираем бесплатно — тут. 🔵ClewAI
AirLLM помогает запускать гигантские модели на видеокарте с ограниченной памятью в 4 ГБ! Это не шутка: тулза позволяет 405В-моделям работать на бюджетных и маломощных ПК.
Как она это делает:
⚪ Сжимает параметры нейронной сети, а не файлы — возможности и функционал остаются прежними;
⚪ Сервис поддерживает любую видеокарту, даже на 4 ГБ, или процессор без видеокарты;
⚪ Напрямую поддерживает модели с Hugging Face;
⚪ Поддерживает все популярные форматы LLM: OCR-модели, чат-боты, генераторы изображений и тд.
Забираем бесплатно — тут.
