先查本地运行时怎样开启推测解码,再用概率校正与耗时算例理解它何时真正提速,比较链、树和自推测。
解析 MHA、GQA、MLA 怎样决定 KV 缓存大小,以及跑模型时能调的上下文长度、缓存精度和前缀缓存。