2 篇文档带有标签「attention」

区分 2017 encoder–decoder 与当前常见的 Pre-Norm、RMSNorm、RoPE、GQA 和 SwiGLU，并核算训练与推理成本。

从 Q/K/V、mask 和数值例子理解内容寻址、多头注意力、复杂度与解释边界。