BitNet b1.58 2B4T: Энергоэффективная альтернатива крупным языковым моделям
BitNet b1.58 2B4T: Энергоэффективная альтернатива крупным языковым моделям Исследователи из Microsoft представили BitNet b1.58 2B4T — первую в мире открытую языковую модель с 1-битной квантизацией весов, содержащую 2 миллиарда параметров. Эта модель демонстрирует производительность, сопоставимую с ведущими полноточными моделями аналогичного размера, при значительно меньших затратах ресурсов. 🔍 Основные особенности BitNet b1.58 2B4T Квантизация весов: Модель использует 1.58-битную квантизацию, представляя веса тремя значениями: -1, 0 и 1...