Российские ученые из Яндекса и НИУ ВШЭ совместно с MIT, ISTA и KAUST совершили прорыв в оптимизации LLM

Российские ученые из Яндекса и НИУ ВШЭ совместно с MIT, ISTA и KAUST совершили прорыв в оптимизации LLM

Лаборатория исследований ИИ Yandex Research совместно с Массачусетским технологическим институтом (MIT), ВШЭ, KAUST и ISTA разработал метод HIGGS — новый способ сжатия больших языковых моделей (LLM)

Они представят его на одной из крупнейших в мире конференций по искусственному интеллекту — NAACL (The North American Chapter of the Association for Computational Linguistics), которая пройдёт с 29 апреля по 4 мая 2025 года в Альбукерке, Нью-Мексико, США

Наряду с Яндексом в ней будут участвовать такие компании и вузы, как Google, Microsoft Research, Гарвардский университет и другие

Статью уже цитировали американская компания Red Hat AI, Пекинский университет, Гонконгский университет науки и технологии, Фуданьский университет и другие

Что уже известно? Квантовать модели вроде Llama 4 (400B) или DeepSeek-R1 (671B) теперь можно прямо на локальном устройстве (смартфоне или ноутбуке) — быстро, дёшево и с сохранением качества

Что это значит на практике?

Раньше квантизация требовала дорогих серверов с GPU и занимала часы или даже недели

С HIGGS она происходит за минуты, без дообучения и сложной оптимизации

Это демократизирует использование LLM: : стартапы, научные команды, образовательные проекты и независимые разработчики получают доступ к тем же возможностям, что раньше были только у корпораций

Метод HIGGS уже доступен разработчикам и исследователям на Hugging Face и GitHub, а научную статью про него можно прочитать на arXiv

Новый способ квантизации даёт больше возможностей для использования LLM в различных областях, особенно в тех, где ресурсы ограничены — например, в образовании или социальной сфере