Encoder、Decoder 与 Encoder–Decoder:信息怎样流动
用可见上下文、训练目标与输出头区分模型家族,理解 BERT 分类器、生成模型和序列转换模型的职责。
用可见上下文、训练目标与输出头区分模型家族,理解 BERT 分类器、生成模型和序列转换模型的职责。
厘清 2017 年原始 Encoder-Decoder 与现代 Decoder-only 架构在 Norm、位置编码、注意力变体及 FFN 上的差异,并分析训练与推理成本。
区分 ReLU、GELU、SiLU/Swish 与 GLU 变体,并用等预算实验选择现代神经网络的非线性。
按原文顺序读 Vaswani 等人 2017 年的论文:它要解决的并行与长程依赖问题、缩放点积与多头注意力、位置编码、训练配置,以及表 1–4 的结果。