Библиотека AirLLM позволяет запускать даже огромные 405В-модели на бюджетных и маломощных ПК. • Тулза сжимает параметры нейронки, а не файлы — можно уменьшить параметры нейронки и при этом не потерять ни возможности, ни функционал. • Для сервиса подойдет любая видеокарта даже на 4 ГБ или процессор даже без видяхи. • Напрямую поддерживает модели с Hugging Face. • Работает со всеми популярными форматами LLM: OCR-модели, чат-боты, генераторы пикч и прочее. Ссылка Telegram: @Age_of_it
Запускаем гигантские локальные модели на простой видеокарте на 4 ГБ — гении дропнули настоящую бомбу. Библиотека AirLLM позволяет запускать даже огромные 405В-модели на бюджетных и маломощных ПК.
• Тулза сжимает параметры нейронки, а не файлы — можно уменьшить параметры нейронки и при этом не потерять ни возможности, ни функционал.
• Для сервиса подойдет любая видеокарта даже на 4 ГБ или процессор даже без видяхи.
• Напрямую поддерживает модели с Hugging Face.
• Работает со всеми популярными форматами LLM: OCR-модели, чат-боты, генераторы пикч и прочее.
Telegram: @Age_of_it
