Transformer:从原始架构到现代组件
厘清 2017 年原始 Encoder-Decoder 与现代 Decoder-only 架构在 Norm、位置编码、注意力变体及 FFN 上的差异,并分析训练与推理成本。
厘清 2017 年原始 Encoder-Decoder 与现代 Decoder-only 架构在 Norm、位置编码、注意力变体及 FFN 上的差异,并分析训练与推理成本。
解析 MHA、GQA、MLA 怎样决定 KV 缓存大小,以及跑模型时能调的上下文长度、缓存精度和前缀缓存。
从 Q/K/V、mask 和数值例子理解内容寻址、多头注意力、复杂度与解释边界。
按原文顺序读 Vaswani 等人 2017 年的论文:它要解决的并行与长程依赖问题、缩放点积与多头注意力、位置编码、训练配置,以及表 1–4 的结果。