Transformer：原始架构与现代 Block
区分 2017 encoder–decoder 与当前常见的 Pre-Norm、RMSNorm、RoPE、GQA 和 SwiGLU，并核算训练与推理成本。
2 篇文档带有标签「transformers」
查看所有标签激活函数与门控前馈网络
区分 ReLU、GELU、SiLU/Swish 与 GLU 变体，并用等预算实验选择现代神经网络的非线性。
区分 2017 encoder–decoder 与当前常见的 Pre-Norm、RMSNorm、RoPE、GQA 和 SwiGLU，并核算训练与推理成本。
区分 ReLU、GELU、SiLU/Swish 与 GLU 变体，并用等预算实验选择现代神经网络的非线性。