跳到主要内容

激活函数与门控前馈网络

几层线性变换叠在一起,结果仍是一个线性变换。所以没有激活函数,再深的网络也只等于一层(见多层感知机)。激活函数夹在两层之间,决定每个单元怎样把输入弯折,网络才拟合得出曲线和边界。

现代 Transformer 在这之上还改了一处更大的地方:把前馈网络(FFN)拆成两条分支再相乘。一条分支算内容,另一条分支决定这份内容放行多少,而且放行多少随每个 token 变化。

这里讨论的是单个位置内部的非线性与通道混合;跨位置的信息交换见注意力机制。FFN 的门控对通道数值做乘法,而 MoE 路由为 token 选择专家网络,两者可以同时存在。参数怎样通过损失更新,见训练过程;输出层该接 Sigmoid 还是 Softmax 由任务决定,见多层感知机的输出头一节。

逐元素激活决定每个单元怎样弯折输入​

名称定义或近似角色优点主要边界
ReLUmax⁡(0,x)\max(0,x)便宜、正半轴不饱和、产生精确零负半轴梯度为零;零点不光滑
Leaky/PReLUmax⁡(ax,x)\max(ax,x)给负半轴保留梯度多一个要另定或要学习的斜率 aa
GELUxΦ(x)x\Phi(x)平滑地按输入幅度缩放,BERT 等使用计算/近似实现不同;不产生严格稀疏
SiLU/Swishxσ(βx)x\sigma(\beta x)平滑、允许小负值;β=1\beta=1 时常称 SiLU/Swish非单调区与 kernel/量化成本
Sigmoidσ(x)\sigma(x)[0,1][0,1] 门控或概率映射大幅度饱和,不适合深层隐藏单元的通用默认
Tanhtanh⁡(x)\tanh(x)有界且零中心,常见于循环状态两端饱和

表中 σ(x)=1/(1+e−x)\sigma(x)=1/(1+e^{-x})。Φ\Phi 是标准正态分布的累积分布函数(CDF),即标准正态变量不超过 xx 的概率,所以 GELU 是把 xx 乘上一个 0 到 1 之间、随 xx 增大的系数。精确 GELU 使用 Φ(x)=(1+erf⁡(x/2))/2\Phi(x)=(1+\operatorname{erf}(x/\sqrt2))/2,常见的 tanh 表达式是它的近似,不同 kernel 在混合精度下会有小差异。

两个名字和记号的约定也要写清。Swish 论文讨论可学习的 β\beta,而框架中的 SiLU 通常固定 β=1\beta=1,文献常把二者近似同义,比较时必须写清实现。表中的 max⁡(ax,x)\max(ax,x) 假设 a≤1a\leq1;若 PReLU 的参数不受此约束,就按分段形式定义:非负输入取 xx,负输入取 axax。

SiLU 的导数为 f′(x)=σ(x)+xσ(x)(1−σ(x))f'(x)=\sigma(x)+x\sigma(x)(1-\sigma(x))。在零点,ReLU、GELU、SiLU 的输出均为零,但 GELU 与 SiLU 的导数为 1/21/2;ReLU 在此没有唯一导数,实现时须选择约定。x=−1x=-1 时,SiLU 约为 −0.2689-0.2689,导数约为 0.07230.0723。所以 SiLU 拿来当门时,门值不限于 [0,1][0,1]:可以略小于零,也可以大于一。

GELU、ReLU、ELU 的曲线在零点附近与负输入区间呈现不同形状。查看清晰大图

重点看负输入:ReLU 直接输出零,GELU 先落到零以下,在输入很负时又趋近零;α = 1 的 ELU 则趋近 −1。蓝线是标准 GELU。

门控 FFN 让一条分支决定另一条放行多少​

普通 Transformer FFN 先用 W1W_1 把一个 token 的向量投到更宽的中间层,过激活函数 ϕ\phi,再用 W2W_2 投回原宽度:

FFN⁡(x)=W2 ϕ(W1x+b1)+b2.\operatorname{FFN}(x)=W_2\,\phi(W_1x+b_1)+b_2.

门控线性单元(GLU)把两条投影相乘:A(x)A(x) 给出内容,σ(B(x))\sigma(B(x)) 给出 0 到 1 之间的放行比例,⊙\odot 表示逐元素相乘。简化写法为

GLU⁡(x)=A(x)⊙σ(B(x)).\operatorname{GLU}(x)=A(x)\odot\sigma(B(x)).

在 Transformer 中,常见变体可写为

GEGLU⁡(x)=Wo(GELU⁡(Wgx)⊙Wvx),\operatorname{GEGLU}(x)=W_o\left(\operatorname{GELU}(W_gx)\odot W_vx\right), SwiGLU⁡(x)=Wo(SiLU⁡(Wgx)⊙Wvx).\operatorname{SwiGLU}(x)=W_o\left(\operatorname{SiLU}(W_gx)\odot W_vx\right).

这里 WgW_g 算出门分支,WvW_v 算出值分支,两者逐元素相乘后由 WoW_o 投回原宽度。ReGLU 则把门分支换成 ReLU。

看 SwiGLU 在一个 token 上做了什么。设中间只有两个通道,某个 token 的门分支 Wgx=[2,−4]W_gx=[2,-4],值分支 Wvx=[3,4]W_vx=[3,4]。过 SiLU 后门约为 [1.7616,−0.0719][1.7616,-0.0719],因为 2σ(2)≈1.76162\sigma(2)\approx1.7616,−4σ(−4)≈−0.0719-4\sigma(-4)\approx-0.0719。逐元素相乘得 [5.2848,−0.2878]≈[5.28,−0.29][5.2848,-0.2878]\approx[5.28,-0.29]:第一个通道被放大,第二个通道几乎关掉。

换一个 token,设它的门分支是 [−4,2][-4,2],值分支仍是 [3,4][3,4]。门变成约 [−0.0719,1.7616][-0.0719,1.7616],乘积约为 [−0.22,7.05][-0.22,7.05]:这回第一个通道关上,第二个通道打开。

门的值由输入算出来,所以同一个通道可以对这个 token 打开、对那个 token 关上。普通 FFN 里,一个通道放行多少和输出多少是同一个数:过 ReLU 后,它要么原样输出自己那一格 W1xW_1x,要么输出零。门控 FFN 把这两件事拆给两条投影,一条决定放多少,一条决定放什么,输出是两个随输入变化的量的乘积。

门控层有 WgW_g、WvW_v、WoW_o 三个主要投影,普通 FFN 只有输入、输出两个;中间宽度不变的话,参数和计算都会增加。所以等参数比较要缩小门控层的中间宽度。

不含偏置、输入和输出宽度均为 dd、中间宽度为 mm 的普通 FFN 有 2dm2dm 个权重;门控 FFN 中间宽度为 gg 时有 3dg3dg 个权重;令二者相等得 g=2m/3g=2m/3。这是 GLU Variants Improve Transformer 中的局部参数量比较。

例如 d=6,m=12d=6,m=12 时取 g=8g=8。门和值分支各把 6 维映射到 8 维,逐元素相乘后仍为 8 维,再投影回 6 维。普通 FFN 是 2×6×122\times6\times12,门控 FFN 是 3×6×83\times6\times8,两者都是 144 个权重。

下载模型时,这个中间宽度 gg 写在 Hugging Face 的 config.json 里,名字叫 intermediate_size。Qwen3-8B 的配置写着 hidden_size: 4096、intermediate_size: 12288、hidden_act: "silu",权重索引里每层 FFN 有 gate_proj、up_proj、down_proj 三个矩阵,也就是这里的 WgW_g、WvW_v、WoW_o。所以每层 FFN 有 3×4096×12288≈1.513\times4096\times12288\approx1.51 亿个权重。按 g=2m/3g=2m/3 倒推,这和中间宽度 18432 的普通 FFN 一样多。

现代架构里的实例​

  • BERT 原始架构使用 GELU;
  • PaLM 报告采用 SwiGLU;
  • Llama 3 架构报告也采用 SwiGLU,并把它与 RMSNorm、RoPE、GQA 等一起作为完整 block 的一部分;
  • ConvNeXt 展示了现代 ConvNet 也可采用 GELU,平滑激活不只用在 Transformer 里。

换激活要在同等预算下比较​

激活函数没有一个在所有任务上都更好的排名。论文里的更高平均分,和上面那些模型选了 GELU 或 SwiGLU,都只在各自的规模、模态和硬件上成立。收益还和初始化、归一化、宽度、数据和 fused kernel 缠在一起;架构里多项改动一起变时,也不能全部记在激活头上。

所以换激活时,先固定数据切分、优化器、步数和随机种子。再报告中间宽度、总参数和峰值内存。g=2m/3g=2m/3 只是不计偏置的权重账,两种 FFN 参数相等,实测延迟仍可能差很多。所以还要在目标 dtype 和硬件上测端到端吞吐:缺少 fused kernel 的新激活会变慢,量化以后也会因为数值范围变了而退化。

训练中如果大量单元恒为零或梯度接近零,先查 ReLU 失活和 Sigmoid/Tanh 饱和。最后留一个稳定的 ReLU 基线,它能看出门控的收益是不是只来自参数变多。

探索关联打开关联网络