3 篇文档带有标签「transformers」

用可见上下文、训练目标与输出头区分模型家族，理解 BERT 分类器、生成模型和序列转换模型的职责。

厘清 2017 年原始 Encoder-Decoder 与现代 Decoder-only 架构在 Norm、位置编码、注意力变体及 FFN 上的差异，并分析训练与推理成本。

区分 ReLU、GELU、SiLU/Swish 与 GLU 变体，并用等预算实验选择现代神经网络的非线性。