Aller au contenu principal

Activations et réseaux feed-forward à portes

Empilez plusieurs transformations linéaires : le résultat reste une seule transformation linéaire. Sans fonction d’activation, un réseau profond ne vaut donc pas plus qu’une couche (voir le perceptron multicouche). L’activation, placée entre deux couches, décide comment chaque unité courbe son entrée ; c’est ce qui permet au réseau d’ajuster des courbes et des frontières.

Les Transformers modernes ajoutent un changement plus profond : ils scindent le réseau feed-forward (FFN) en deux branches qu’ils multiplient. Une branche calcule le contenu, l’autre décide quelle part de ce contenu passe, et cette part change avec chaque token.

Cette page étudie la non-linéarité et le mélange des canaux à une position ; l’attention échange l’information entre positions. Une porte FFN multiplie des valeurs de canaux, tandis que le routage MoE choisit des réseaux experts pour les tokens ; les deux peuvent coexister. Le processus d’entraînement explique l’actualisation des paramètres par la perte ; le choix d’une sigmoïde ou d’un Softmax en sortie dépend de la tâche, comme le montre la section sur la tête de sortie du perceptron multicouche.

L’activation élément par élément décide comment chaque unité courbe son entrée​

NomDéfinition ou rôlePoint fortLimite
ReLUmax⁡(0,x)\max(0,x)économique, zéros exacts, côté positif non saturantgradient nul côté négatif ; cassure en zéro
Leaky/PReLUmax⁡(ax,x)\max(ax,x)conserve le gradient côté négatifune pente aa de plus à fixer ou à apprendre
GELUxΦ(x)x\Phi(x)pondération lisse selon l’amplitude ; utilisée notamment dans BERTvariantes d'approximation et de kernel ; pas de parcimonie exacte
SiLU/Swishxσ(βx)x\sigma(\beta x)lisse, avec de petites sorties négatives ; β=1\beta=1 est souvent appelé SiLU/Swishrégion non monotone ; coûts de kernel et de quantification
Sigmoidσ(x)\sigma(x)porte sur [0,1][0,1] ou transformation probabilistesature à grande amplitude ; pas un choix général pour les couches cachées profondes
Tanhtanh⁡(x)\tanh(x)fonction bornée et centrée sur zéro, courante dans les états récurrentssature aux deux extrémités

Dans le tableau, σ(x)=1/(1+e−x)\sigma(x)=1/(1+e^{-x}). Φ\Phi est la fonction de répartition de la loi normale standard, c’est-à-dire la probabilité qu’une variable normale standard ne dépasse pas xx ; GELU multiplie donc xx par un facteur compris entre 0 et 1 qui croît avec xx. GELU exacte utilise Φ(x)=(1+erf⁡(x/2))/2\Phi(x)=(1+\operatorname{erf}(x/\sqrt2))/2 ; l’expression usuelle en tanh en est une approximation, et différents kernels peuvent produire de petits écarts en précision mixte.

Deux conventions de nom et de notation doivent aussi être précisées. L’article sur Swish étudie un β\beta qui peut être appris, alors que le SiLU des frameworks fixe couramment β=1\beta=1 ; les articles emploient ces noms de manière quasi interchangeable, précisez donc l’implémentation. La forme max⁡(ax,x)\max(ax,x) du tableau suppose a≤1a\leq1 ; sans cette restriction, PReLU est définie par morceaux : xx pour une entrée non négative, axax sinon.

Pour SiLU, f′(x)=σ(x)+xσ(x)(1−σ(x))f'(x)=\sigma(x)+x\sigma(x)(1-\sigma(x)). En zéro, ReLU, GELU et SiLU donnent zéro, mais GELU et SiLU ont une dérivée de 1/21/2 ; ReLU n’y possède pas de dérivée unique (l’implémentation choisit une convention). En x=−1x=-1, SiLU vaut environ −0.2689-0.2689 et sa dérivée environ 0.07230.0723. Employée comme porte, SiLU ne reste donc pas dans [0,1][0,1] : elle peut passer légèrement sous zéro ou dépasser un.

Les courbes GELU, ReLU et ELU diffèrent autour de zéro et pour les entrées négatives.Voir l’image en grand

Regardez les entrées négatives : ReLU vaut zéro, GELU passe sous zéro puis s’en rapproche pour des entrées très négatives, tandis qu’ELU avec α = 1 tend vers −1. Le bleu représente GELU standard.

Dans un FFN à portes, une branche décide de ce que l’autre laisse passer​

Un FFN classique de Transformer projette le vecteur d’un token vers une couche intermédiaire plus large avec W1W_1, applique une activation ϕ\phi, puis revient à la largeur initiale avec W2W_2 :

FFN⁡(x)=W2 ϕ(W1x+b1)+b2.\operatorname{FFN}(x)=W_2\,\phi(W_1x+b_1)+b_2.

Une unité linéaire à porte (GLU) multiplie deux projections : A(x)A(x) fournit le contenu, σ(B(x))\sigma(B(x)) une proportion de passage comprise entre 0 et 1, et ⊙\odot désigne le produit élément par élément. Sous une forme simplifiée :

GLU⁡(x)=A(x)⊙σ(B(x)).\operatorname{GLU}(x)=A(x)\odot\sigma(B(x)).

Les variantes courantes dans les Transformers incluent

GEGLU⁡(x)=Wo(GELU⁡(Wgx)⊙Wvx),\operatorname{GEGLU}(x)=W_o\left(\operatorname{GELU}(W_gx)\odot W_vx\right), SwiGLU⁡(x)=Wo(SiLU⁡(Wgx)⊙Wvx).\operatorname{SwiGLU}(x)=W_o\left(\operatorname{SiLU}(W_gx)\odot W_vx\right).

Ici WgW_g produit la branche de porte et WvW_v la branche de valeur ; leur produit élément par élément est ramené à la largeur du modèle par WoW_o. ReGLU remplace la fonction par ReLU dans la branche de porte.

Suivons SwiGLU sur un token. Prenons une couche intermédiaire de deux canaux seulement, une branche de porte Wgx=[2,−4]W_gx=[2,-4] et une branche de valeur Wvx=[3,4]W_vx=[3,4]. Après SiLU, la porte vaut environ [1.7616,−0.0719][1.7616,-0.0719], car 2σ(2)≈1.76162\sigma(2)\approx1.7616 et −4σ(−4)≈−0.0719-4\sigma(-4)\approx-0.0719. Le produit élément par élément donne [5.2848,−0.2878]≈[5.28,−0.29][5.2848,-0.2878]\approx[5.28,-0.29] : le premier canal est amplifié, le second presque fermé.

Prenons un autre token dont la branche de porte vaut [−4,2][-4,2], avec la même branche de valeur [3,4][3,4]. La porte devient environ [−0.0719,1.7616][-0.0719,1.7616] et le produit environ [−0.22,7.05][-0.22,7.05] : cette fois, le premier canal est fermé et le second ouvert.

La porte étant calculée à partir de l’entrée, un même canal peut s’ouvrir pour un token et se fermer pour un autre. Dans un FFN simple, la part qu’un canal laisse passer et ce qu’il produit sont un seul et même nombre : après ReLU, il renvoie tel quel sa composante de W1xW_1x, ou zéro. Un FFN à portes confie ces deux rôles à deux projections, l’une décidant combien passe, l’autre ce qui passe ; la sortie est le produit de deux grandeurs qui varient toutes deux avec l’entrée.

Une couche à portes comporte trois projections principales (WgW_g, WvW_v, WoW_o), contre une projection d’entrée et une de sortie pour le FFN simple ; à largeur intermédiaire identique, les paramètres et le calcul augmentent. Les comparaisons à nombre de paramètres égal réduisent donc la largeur intermédiaire de la couche à portes.

Un FFN simple sans biais allant de la largeur dd à dd via une largeur mm contient 2dm2dm poids ; un FFN à portes de largeur intermédiaire gg en contient 3dg3dg ; l’égalité donne g=2m/3g=2m/3. C’est la comparaison locale du nombre de paramètres de GLU Variants Improve Transformer.

Pour d=6,m=12d=6,m=12, choisissez g=8g=8. Les projections de porte et de valeur vont chacune de 6 à 8 caractéristiques ; leur produit élément par élément reste de longueur 8, puis la projection de sortie revient à 6. Le FFN simple a 2×6×122\times6\times12 poids et le FFN à portes 3×6×83\times6\times8 : 144 dans les deux cas.

Quand vous téléchargez un modèle, cette largeur intermédiaire gg est le champ intermediate_size de son config.json Hugging Face. La configuration de Qwen3-8B indique hidden_size: 4096, intermediate_size: 12288 et hidden_act: "silu", et son index des poids montre trois matrices FFN par couche, gate_proj, up_proj et down_proj, soit ici WgW_g, WvW_v et WoW_o. Le FFN de chaque couche compte donc 3×4096×12288≈1513\times4096\times12288\approx151 millions de poids. En remontant par g=2m/3g=2m/3, c’est autant qu’un FFN simple de largeur intermédiaire 18432.

Exemples dans les architectures modernes​

  • L’architecture originale de BERT utilise GELU.
  • PaLM indique utiliser SwiGLU.
  • Le rapport d’architecture de Llama 3 utilise aussi SwiGLU, avec RMSNorm, RoPE et GQA dans un bloc complet.
  • ConvNeXt montre que les ConvNets modernes peuvent aussi utiliser GELU ; les activations lisses servent au-delà des Transformers.

Comparer les activations à budget égal​

Aucune activation n’arrive en tête sur toutes les tâches. Une meilleure moyenne dans un article, comme le choix de GELU ou de SwiGLU par les modèles ci-dessus, vaut pour leur échelle, leur modalité et leur matériel. Le bénéfice reste aussi mêlé à l’initialisation, à la normalisation, à la largeur, aux données et aux kernels fusionnés ; lorsque plusieurs composants d’une architecture changent ensemble, il ne peut pas être attribué entièrement à l’activation.

Pour changer d’activation, fixez donc d’abord le découpage des données, l’optimiseur, le nombre de pas et les graines aléatoires. Indiquez ensuite la largeur intermédiaire, le total des paramètres et le pic mémoire. g=2m/3g=2m/3 n’est qu’un comptage de poids sans biais, et deux FFN de même nombre de paramètres peuvent avoir des latences mesurées très différentes. Mesurez donc aussi le débit de bout en bout avec le dtype et le matériel cibles : une nouvelle fonction sans kernel fusionné est plus lente, et la quantification la dégrade quand sa plage numérique change.

Si beaucoup d’unités restent à zéro ou si les gradients deviennent quasi nuls pendant l’entraînement, cherchez d’abord des ReLU mortes et une saturation de Sigmoid/Tanh. Gardez une référence stable avec ReLU : elle montre si le bénéfice d’une porte vient seulement de paramètres supplémentaires.

Explorer les liensOuvrir le réseau