跳到主要内容

注意力变体与 KV 缓存压缩

模型逐字生成时,每出一个新 token,都要回看此前所有 token 的 Key 和 Value;滑动窗口等注意力变体则只回看一段范围。把这些 Key 和 Value 存下来,就是 KV 缓存。缓存省掉了重复计算,代价是内存随序列长度和同时解码的序列数(Batch Size)线性增长:下文那个 32 层的例子里,一条 4096 个 token 的序列要 512 MiB 缓存,上下文拉到 128K(4096 的 32 倍),就是 16 GiB。

上下文很长、或者同时解码的序列很多时,每一步读缓存的流量会追上甚至超过读权重的流量;短上下文、单条序列时,每步读的主要还是权重。

省缓存有三条路:让多个 Query 头共用一组 Key/Value(减少 KV 头),把每个 token 存的东西压窄(压缩缓存宽度),或者少存几个 token、用更低精度存(减少缓存 Token 的数量或精度)。前两条要在训练时定下,第三条直接改现成模型的缓存。

MHA、GQA、MQA 都保留八个查询头,键值头分别为八组、四组和一组。查看清晰大图

从底部蓝色查询头往上看:中间每两个查询头共享一组键值头,右侧所有查询头共享一组。查询头数量没有减少;其他维度不变时,缓存节省来自需要保存的键和值变少。

MHA 与 GQA​

缓存有多大,取决于每层要为几个 KV 头存 Key 和 Value。假设模型有 LL 层,序列长度 SS,Query 头数 nhn_h,KV 头数 nkvn_{kv},头维度 dhd_h,每个缓存元素占用 bb 字节。三种注意力的区别只在 nkvn_{kv}:

  • 多头注意力 (MHA):通常 nkv=nhn_{kv}=n_h,即每个 Query 头对应独立的 KV 头。
  • 多查询注意力 (MQA):所有 Query 头共享同一个 KV 头。
  • 分组查询注意力 (GQA):介于两者之间,多个 Query 头共享一个 KV 头。

忽略分配器和元数据开销,单条序列的 KV 缓存大小约为:

2LSnkvdhb.2L S n_{kv} d_h b.

用白话说:每层、每个 token,要为每个 KV 头存一条 dhd_h 维的 Key 和一条 dhd_h 维的 Value,系数 2 就对应 Key 和 Value 这两部分;再乘上层数、token 数和每个数的字节数。

举一个假设配置:L=32L=32、S=4096S=4096、nh=32n_h=32、nkv=8n_{kv}=8、dh=128d_h=128,每个元素两字节。按上面的顺序一步步算:

在算什么算式结果
每层每 token 存几个数2×8×1282\times 8\times 1282,048
32 层合计,每 token 存几个数2,048×322{,}048\times 3265,536
每 token 占多少字节65,536×265{,}536\times 2131,072 字节,即 128 KiB
4096 个 token 合计131,072×4096131{,}072\times 4096536,870,912536{,}870{,}912 字节,即 512 MiB

换成 MHA,32 个 Query 头各配一个 KV 头,nkvn_{kv} 从 8 变成 32,缓存变成 4 倍,需 2 GiB。也就是说,其他参数不变时,从 MHA 切换到 GQA,缓存按 nkv/nhn_{kv}/n_h 的比例下降,这里是 8/328/32,只剩四分之一。缓存还随并发数线性增长:四条等长的 GQA 序列同样需要 2 GiB,尚未计额外开销。这些数只算缓存,模型权重另占一份内存。

GQA 是训练阶段的架构选择,不是可以无损套用到任意权重的开关。GQA 论文给出的改法是:把现成多头模型的键值头分组合并,再用原预训练约 5% 的算力继续训练。这样改出的 GQA 模型,质量接近多头注意力,速度接近 MQA。

模型边生成边存下的 KV 缓存

每生成一个 token,每一层的每个 K/V 头都要多存一个 key 和一个 value。先选 query 头如何共享 K/V 头,再逐步看解码过程。

注意力
缓存元素

32 个 query 头 → 8 个 K/V 头

123456789101112

第 12 个 token解码第 12 个 token:先追加一行(所有层合计 128 KiB),新 query 再读取全部 12 行:这条序列读 1.5 MiB。

一行 = 2(K 和 V)× 32 层 × 8 个 K/V 头 × 128 × 2 B = 128 KiB

放到真实的上下文长度

并发序列
KV 缓存
512 MiB
4,096 × 1 × 128 KiB
每个解码步读取
512 MiB
每条序列、每生成一个 token
相对 MHA
25%
8 / 32 个 K/V 头
0 B32 GiB64 GiB032K64K96K128KMHA · 64 GiBGQA · 16 GiBMQA · 2 GiB

1 条并发序列时,GQA 的缓存从 122,071 个 token 的上下文起超过这些权重(14.9 GiB)。

模型形状取自本文的假设算例:32 层、32 个 query 头、头维度 128。80 亿参数的权重线是假设的规模。未计入分配器开销和激活值。

什么条件下可以精确复用?​

缓存能原样复用,前提是新 token 到来时,旧 token 的 Key 和 Value 不变。因果模型满足这一点:追加 token 不会改变前面 token 的表示,每层只需为新位置计算。所以开头相同的两次请求可以共用这段缓存,运行时里的前缀缓存就是这么来的。分词后的前缀、权重(含适配器)和位置编号只要有一处不同,或者改动了前面某个 token,从那里往后的缓存就全部作废。

树形推测解码把状态管理扩展到候选分支:需要隔离各分支,并沿接受路径保留一致的 KV 与压缩状态。

多头潜在注意力 (MLA)​

GQA 靠少存几组头省缓存;DeepSeek-V2 引入的多头潜在注意力 (MLA) 换了个办法:不再缓存完整的每头 Key/Value 张量,而是让模型学一个低维的潜在表示(Latent Representation),每个 token 只存这个短向量,用时再投影出各头的 Key 和 Value。由于旋转位置编码(RoPE)依赖位置信息,无法简单折叠进固定投影,因此用于 RoPE 的 Key 部分保持独立,单独存一小段。

简化的缓存宽度对比如下:

MHA/GQA 每层每 token 宽度≈2nkvdh,MLA 每层每 token 宽度≈dc+dR,\begin{aligned} \text{MHA/GQA 每层每 token 宽度} &\approx 2n_{kv}d_h,\\ \text{MLA 每层每 token 宽度} &\approx d_c+d_R, \end{aligned}

其中 dcd_c 为压缩后的潜在宽度,dRd_R 为解耦的旋转 Key 宽度。换句话说,MHA/GQA 每层每 token 存的数随 KV 头数增长,MLA 只存一个潜在向量加一段位置 Key,存多少和头数无关。

代入 DeepSeek-V2 论文给的配置:60 层,128 个注意力头,每头 128 维,潜在宽度 dc=512d_c=512,旋转 Key 宽度 dR=64d_R=64。下表按每个数 2 字节换算:

注意力每层每 token 存几个数60 层合计,每 token4096 个 token
同样头数的 MHA2×128×128=32,7682\times 128\times 128=32{,}7683.75 MiB15 GiB
MLA512+64=576512+64=57667.5 KiB270 MiB

MLA 每 token 存的数约为同形状 MHA 的五十七分之一(32,768÷576≈5732{,}768\div 576\approx 57)。576 甚至少于上一节那个 8 个 KV 头的 GQA 每层要存的 2,048 个数;论文的说法是,MLA 的缓存只相当于 2.25 组的 GQA(2×2.25×128=5762\times 2.25\times 128=576)。

MLA 和 GQA 一样要在训练时定下:压缩和还原用的投影是训练出来的,论文报告的效果属于按这种架构训练的模型。

跑模型时能调的是长度、精度和前缀缓存​

注意力结构是训练时定下的,跑模型的人改不了。能改的是公式里另外两个数:缓存保留多少个 token(SS),每个数占几个字节(bb);还有一项是相同的开头要不要再算一遍。

旋钮怎样设代价
上下文长度Ollama 默认 4096 个 token,用 OLLAMA_CONTEXT_LENGTH 或请求里的 num_ctx 改;llama.cpp 用 -c,0 表示沿用模型自带的长度;mlx-lm 用 --max-kv-size 换成固定大小的滚动缓存太短会截掉输入;滚动缓存设得越小越省内存,质量也越差
缓存精度Ollama 的 OLLAMA_KV_CACHE_TYPE:q8_0 约为默认 f16 的一半,q4_0 约为四分之一,要开着 Flash Attention,对所有模型一起生效;llama.cpp 用 -ctk、-ctv,默认 f16,可选 q8_0、q4_0 等;vLLM 用 kv_cache_dtype 设成 FP8精度越低,注意力分数偏得越多;vLLM 文档提醒滑动窗口等层对缓存量化更敏感
前缀缓存llama.cpp 的 server 默认开着 --cache-prompt;vLLM 用 enable_prefix_caching=True只省 prefill,不缩短逐字生成;开头不同就命中不了

拿上面那个 GQA 例子算:每个 token 128 KiB,32K 上下文就是 4 GiB;换成 q8_0 约 2 GiB,q4_0 约 1 GiB。整台机器的预算怎样分给权重和缓存,见单卡部署。

现有缓存的压缩策略​

还有一类研究方法不改训练好的架构,直接删缓存里的 token。SnapKV 用提示末尾一个观察窗口的注意力给前面的位置打分,只留高分的 Key/Value。PyramidKV 按各层注意力分布的差异,给不同层分不同的缓存预算。它们省下的内存来自少存 token,代价是可能删掉小而关键的片段。

关键测量指标​

针对具体部署,需记录以下数据:

  1. 确切模型、注意力架构及缓存数据类型;
  2. Prompt 长度、生成长度及并发序列数;
  3. GPU 峰值内存及主机内存占用;
  4. Prefill 时间、首 Token 延迟 (TTFT) 及解码吞吐量;
  5. 需要跨位置获取信息的长上下文任务成功率;
  6. 缓存剔除、量化或卸载至 CPU 后的行为表现。

内存适配性和答案质量保留情况要分别测试:宣称支持长上下文的模型在现有硬件上可能装不下,而节省缓存的方法虽然能装进内存,却可能让任务失败。

探索关联打开关联网络