HuggingFaceModelDownloader - это мощная и современная утилита командной строки, написанная на Go, предназначенная для максимально быстрого и надежного скачивания моделей и датасетов с Hugging Face Hub. Она решает проблемы медленной загрузки и отсутствия гибкости стандартных инструментов, предлагая пользователю полный контроль над процессом.
Основные возможности
* Многопоточная загрузка: Поддержка до 16 параллельных соединений на один файл, что позволяет максимально использовать пропускную способность интернет-канала.
* Умное возобновление: Автоматическое продолжение прерванных загрузок без создания лишних файлов состояния (state files), основываясь на проверке размера и SHA-256.
* Полноценный Web UI: Помимо командной строки, доступен современный веб-интерфейс с мониторингом прогресса через WebSocket в реальном времени.
* Красивый TUI: Интуитивно понятный текстовый интерфейс для терминала с плавным отображением скорости (используется метод EMA) и прогресс-барами.
* Гибкая фильтрация: Возможность скачивать только нужные файлы (например, конкретные квантования GGUF) с помощью системы включения/исключения по паттернам.
* Поддержка закрытых репозиториев: Работа с приватными и gated-моделями через токены доступа (HF_TOKEN) и поддержку переменных окружения.
Преимущества
* Высокая скорость: Оптимизированное сканирование репозиториев работает до 100 раз быстрее, чем в предыдущих версиях (обработка 90+ файлов занимает около 2 секунд).
* Безопасность и надежность: Обязательная проверка контрольных сумм SHA-256 для LFS-файлов гарантирует целостность данных.
* Кроссплатформенность: Доступны бинарные файлы для Windows, Linux, macOS, а также официальный Docker-образ.
* Автоматизация: Поддержка вывода событий в формате JSON делает утилиту идеальной для использования в CI/CD пайплайнах.
* Отсутствие зависимостей: Поставляется в виде одного исполняемого файла, не требует установки Python или библиотек Transformers.
⬇️Поддержать автора⬇️
✅SBER: 2202 2050 1464 4675