1 篇文档带有标签「local-inference」

理解低比特如何近似权重，区分权重、激活和 KV 缓存量化，读懂 Q4_K_M、MLX、AWQ 这类文件名，并估算真实部署成本。