Квантование памяти ИИ — это техническая операция сжатия KV-cache, то есть оперативной памяти внимания, которую большие языковые модели используют во время генерации текста. Если квантование весов уменьшает...