1 篇文档带有标签「quantization」

理解低比特如何近似权重，区分权重、激活和 KV 缓存量化，并估算真实部署成本。