Это первая модель семейства, специально оптимизированная для локального запуска на edge-устройствах вроде Jetson и потребительских RTX GPU. Она показывает лучшие в своём классе результаты по следованию инструкциям, работе как игровой агент и минимальному потреблению видеопамяти. Модель получена из 9B-версии через структурированный прунинг и двухэтапную дистилляцию, полностью сохранив точность при 4-битном квантовании. Читать полностью @chernovdev
NVIDIA выпустила Nemotron 3 Nano 4B — компактную языковую модель на 4 млрд параметров с гибридной архитектурой Mamba-Transformer. Это первая модель семейства, специально оптимизированная для локального запуска на edge-устройствах вроде Jetson и потребительских RTX GPU. Она показывает лучшие в своём классе результаты по следованию инструкциям, работе как игровой агент и минимальному потреблению видеопамяти. Модель получена из 9B-версии через структурированный прунинг и двухэтапную дистилляцию, полностью сохранив точность при 4-битном квантовании.
