В обсуждении #28455 описан случай: при включённом Flash Attention выбор `q5_1` для KV-кэша переносил вычисление внимания с GPU на CPU. Модель продолжала работать, но скорость падала. Причина – отсутствие CUDA-ядер для выбранного формата кэша в стандартной сборке. В замерах автора на RTX 4080 обработка промпта ускорилась с 38 до 1348 токенов/с после замены q5_1 на q8_0. Это скорость чтения входного запроса, а не генерации ответа...