Нашёл идеальную (на данный момент) модель для домашнего инференса - Ternary-Bonsai-2-27B-gguf и Ternary-Bonsai-2-9B-gguf. Да, для него нужна отдельная сборка llama.cpp от PrismML, куда добавлены возможности для работы с тернарными матрицами, но оно стоит того. Собирать ничуть сложнее, чем основной llama.cpp - выкачал с гита и собрал. Памяти нужно мало, веса компактные, работает быстро. Можно несколько разных моделей (с разными весами) на одну видюху загнать.