Учёные «Яндекса» совместно с ВШЭ и Массачусетским институтом разработали метод, который позволяет быстро сжимать текстовые нейросети без потерь Метод квантования больших языковых моделей получил название HIGGS. Он позволяет сжимать LLM без дообучения и сложной оптимизации параметров, так что это можно сделать прямо на смартфоне или ноутбуке. С помощью нового способа уже сжали гигантские DeepSeek-R1 и Llama 4 Maverick, которые помещаются только на специализированном серверном оборудовании. Где почитать и получить исходники HIGGS: rozetked.me/news/38679
Учёные «Яндекса» совместно с ВШЭ и Массачусетским институтом разработали метод, который позволяет быстро сжимать текстовые нейросети без потерь
Метод квантования больших языковых моделей получил название HIGGS. Он позволяет сжимать LLM без дообучения и сложной оптимизации параметров, так что это можно сделать прямо на смартфоне или ноутбуке.
С помощью нового способа уже сжали гигантские DeepSeek-R1 и Llama 4 Maverick, которые помещаются только на специализированном серверном оборудовании.
Где почитать и получить исходники HIGGS: rozetked.me/news/38679
