本地运行

先问要不要在本机跑：数据不能离开本机、需要离线使用，才是本地模型最硬的理由。大量很小的调用也常被当作理由，可托管服务的小模型档已经很便宜，先用模型与 API 选型雷达里的价格算一笔账。决定要跑以后，依次判断装不装得下、选哪个模型、用哪个运行时、调哪些参数、能跑多快；KV 缓存怎样随上下文增长，见“大模型怎样工作”一组的注意力变体与 KV 缓存压缩。

阅读顺序

顺序	文章	要做的事
1	单卡部署：权重、显存与上下文预算	装不装得下：按权重、上下文和余量估算一台设备的内存预算。
2	本地编码智能体模型选型	选哪个模型：从模型卡上的事实出发，列出值得在本机试的编码模型。
3	本地推理运行时选型	用哪个运行时：按模型格式、硬件、延迟、吞吐和安全性挑推理引擎。
4	模型量化：精度、体积与速度	调哪些参数：低比特怎样近似权重，权重、激活和 KV 缓存量化各省下什么。
5	推理性能：加载、首字延迟、解码与吞吐	能跑多快：把一次请求拆成加载、预填充和解码，分别测首字延迟和吞吐。
6	推测解码：草稿、验证与实际加速	再快一点：小模型起草、大模型验证，什么时候真能提速。

我的阅读