📲 Ребята из PrismML недавно выкатили Bonsai 27B — это Qwen 3.6 на 27 млрд параметров, жёстко упиханный в 1-битные и тернарные веса. Если вы когда-то пытались локально поднять что-то подобное, то в курсе математики: в fp16 это ~54 ГБ VRAM. Даже адекватный 4-битный квант сожрет около 18 ГБ. Ни один телефон или дефолтный рабочий ноут это не переварит, так как ОС просто не отдаст столько памяти одному приложению. Возьмем условный iPhone 17 Pro — там 12 ГБ памяти. Из них iOS отдает приложению под работу максимум около 6 ГБ (и это потолок)...