4 篇文档带有标签「inference」

先查本地运行时怎样开启推测解码，再用概率校正与耗时算例理解它何时真正提速，比较链、树和自推测。

把一次模型请求拆成可测量阶段，解释并发、缓存、批处理与用户等待时间之间的关系。

基于模型格式、硬件适配（含 Apple Silicon）、上下文设置及安全性，选择本地推理引擎的实战指南。

沿着一个 token 的路由过程解释 MoE，区分总参数、激活参数、显存与速度，并分析负载均衡和通信。