Метод HIGGSа

Метод HIGGSа

❗️Ученые из лаборатории Yandex Research совместно со специалистами из НИУ ВШЭ, Массачусетского технологического института (MIT) и других ведущих международных вузов представят новый метод для оптимизации LLM на одной из крупнейших конференций по ИИ в мире — NAACL.

🔸Было - стало

➡️Новый метод квантизации HIGGS помогает решить проблему оптимизации LLM. Раньше для запуска языковой модели на смартфоне или ноутбуке требовалось провести её квантизацию на дорогостоящем сервере, что занимало от нескольких часов до несколько недель. Теперь квантизацию можно выполнить прямо на телефоне или ноутбуке за считанные минуты.

➡️Метод особенно полезен для развития OpenSource-сообщества. Сегодня многие модели есть в открытом доступе, но на практике ими могут пользоваться только крупные компании с инфраструктурой. HIGGS меняет эту парадигму, позволяя даже модели с сотнями миллиардов параметров (как Llama 4 Maverick или DeepSeek-R1) запускать без высоких затрат.

🔹Преимущества

➡️Появление таких инструментов дает преимущество независимым разработчикам, лабораториям, стартапам, которые ограничены в ресурсах. Теперь они могут использовать сжатые модели для создания инновационных продуктов и сервисов, не тратя деньги на дорогое оборудование.

➡️Кроме того, HIGGS экспериментально сравнивался с существующими методами на популярных моделях Llama 3 и Qwen2.5. Он показывает лучшие результаты среди аналогов.

🔸Уже в науке

➡️Метод уже отметился в научной среде — исследование не только приняли на NAACL 2025, но и уже используют в своих работах такие организации, как Red Hat AI, Фуданьский и Пекинский университеты.

#новостиНОП

📱 НОП - Научно-образовательная политика