🤯 Они выложили в open source свой фреймворк для инференса 1-битных LLM — bitnet.cpp. И да, теперь 100B-модель можно запускать на обычном CPU. Без видеокарт. Вообще. Что внутри: • ⚡️ ускорение до 6.17× на x86 и до 5.07× на ARM • 🔋 минус 55–82% энергопотребления • 🧠 поддержка 1.58-битных моделей (BitNet b1.58) • 🖥 работает на CPU (GPU есть, NPU — на подходе) • 📖 100B модель на одном CPU со скоростью 5–7 токенов/с (примерно как читает человек) Недавние оптимизации добавили: параллельные ядра настраиваемый tiling квантование эмбеддингов → ещё +1.15× – 2.1× ускорения И главное — 100% open source. Локальные LLM без GPU становятся реальностью 🚀 bitnet.cpp — определённо один из самых важных релизов для on-device AI в этом году. #нейросети · @larchanka "Написано" нейросетью