1 篇文档带有标签「activation-functions」

区分 ReLU、GELU、SiLU/Swish 与 GLU 变体，并用等预算实验选择现代神经网络的非线性。