Perceptron multicouche

Une couche cachée construit des caractéristiques intermédiaires avant de produire une réponse. Dans ce petit réseau, deux neurones mesurent les différences entre les entrées. Désactivez leur non-linéarité pour voir pourquoi ajouter des couches ne suffit pas.

À vous d’essayer

Pourquoi XOR a-t-il besoin d’une couche cachée ?

XOR vaut 1 quand une seule des deux entrées vaut 1. Changez les entrées, puis désactivez ReLU : les mêmes poids ne résolvent plus le problème.

Activer ReLU

[0, 1] → h = [0, 1] → Sortie = 1

ReLU conserve les différences positives et ramène les négatives à zéro. Leur somme détecte les entrées différentes.

Ces poids sont choisis à la main, sans entraînement. Cette représentation fonctionne, mais rien ne garantit que l’entraînement la trouvera.

Comparer les quatre entrées

x₁	x₂	Cible	Sortie
0	0	0	0
0	1	1	1
1	0	1	1
1	1	0	0

Voir le code · NumPy / JAX

L’interaction utilise JavaScript. Ces exemples Python reprennent les mêmes données et équations avec les valeurs initiales, pas celles des curseurs. JAX calcule le gradient de la perte avec jax.grad. Guide de différentiation JAX

Dans un nouveau projet local, enregistrez l’exemple dans demo.py. Installation CPU : uv init ai-lab → cd ai-lab → uv add numpy jax → uv run demo.py

import jax.numpy as jnp
# NumPy: replace the import above with: import numpy as jnp

x = jnp.array([[0., 0.], [0., 1.], [1., 0.], [1., 1.]])
w1 = jnp.array([[1., -1.], [-1., 1.]])
w2 = jnp.array([1., 1.])
h = jnp.maximum(x @ w1, 0.)
print(h @ w2)          # [0., 1., 1., 0.]
print((x @ w1) @ w2)   # [0., 0., 0., 0.]: no ReLU

Un MLP alterne des transformations affines et des non-linéarités élément par élément. Pour une entrée $\mathbf{x}\in\mathbb{R}^{d}$, une largeur cachée $h$ et une largeur de sortie $k$ :

$$\mathbf{z}_1=W_1\mathbf{x}+\mathbf{b}_1, \quad \mathbf{h}=\phi(\mathbf{z}_1), \quad \mathbf{o}=W_2\mathbf{h}+\mathbf{b}_2,$$

avec $W_1\in\mathbb{R}^{h\times d}$ et $W_2\in\mathbb{R}^{k\times h}$. Sans $\phi$, des transformations affines consécutives s'effondrent en une seule ; la profondeur seule n'élargirait pas la classe de fonctions.

Têtes, pertes et hypothèses

Problème	Sortie	Perte courante	Vérification
régression à valeurs réelles	valeur linéaire	MSE, MAE ou perte dérivée de la vraisemblance	queues, échelle, hétéroscédasticité
classification binaire	un logit	entropie croisée binaire	seuil, coûts, calibration
multiclasse exclusif	$k$ logits	entropie croisée softmax	les classes sont réellement exclusives
multilabel	$k$ logits indépendants	BCE indépendante	dépendance des labels et seuils

L'activation cachée et la sémantique de sortie répondent à des objectifs différents. Ne choisissez pas d'abord une fonction de perte dans une bibliothèque pour adapter ensuite artificiellement la question posée.

Ce que calcule la rétropropagation

Pour une perte $L$, posons $\boldsymbol{\delta}_2=\partial L/\partial\mathbf{o}$. La règle de dérivation en chaîne donne

$$\frac{\partial L}{\partial W_2}=\boldsymbol{\delta}_2\mathbf{h}^{\top}, \qquad \boldsymbol{\delta}_1=(W_2^{\top}\boldsymbol{\delta}_2)\odot\phi'(\mathbf{z}_1),$$ $$\frac{\partial L}{\partial W_1}=\boldsymbol{\delta}_1\mathbf{x}^{\top}.$$

La différenciation automatique élimine les dérivées écrites à la main, mais pas les hypothèses dimensionnelles, numériques ou d'objectif. Un gradient nul peut indiquer un optimum, une saturation, un ReLU mort, un masque incorrect ou un graphe déconnecté.

Une rétropropagation scalaire

Prenons $x=2$, $w_1=1$, $b_1=-1$, $w_2=3$, $b_2=0$, la cible $y=1$ et $L=(o-y)^2/2$. La passe avant donne $z_1=1$, $h=\operatorname{ReLU}(1)=1$, $o=3$, $L=2$. La passe arrière donne $\delta_2=2$, $\partial L/\partial w_2=2$, $\delta_1=6$ et $\partial L/\partial w_1=12$. Les gradients des biais valent respectivement $6$ pour la première couche et $2$ pour la seconde. Toutes les dérivées utilisent les poids de la même passe avant ; modifier $w_2$ avant de calculer $\delta_1$ reviendrait à dériver un autre calcul.

La rétropropagation calcule les gradients ; l’optimiseur applique la mise à jour. Une perte moyenne sur un mini-lot exige de moyenner les contributions et d’effacer les gradients accumulés avant la prochaine mise à jour indépendante. L’inférence ne nécessite que la passe avant. Avec dropout, l’entraînement masque aléatoirement des activations (avec compensation d’échelle pour le dropout inversé), tandis que l’évaluation désactive cet aléa. Un MLP composé uniquement de couches affines et ReLU ne possède pas de couche dépendante du mode.

Exemple appliqué : XOR avec deux ReLU

Pour $x_1,x_2\in\{0,1\}$, définissons

$$h_1=\operatorname{ReLU}(x_1-x_2), \qquad h_2=\operatorname{ReLU}(x_2-x_1),$$ $$f(x_1,x_2)=h_1+h_2.$$

Les paires identiques produisent 0 et les paires différentes produisent 1. Une unique frontière linéaire ne peut pas séparer le XOR ; la couche cachée représente d'abord le fait que les entrées diffèrent ou non. Cela prouve qu'une représentation existe — pas que la SGD la trouvera à partir d'une initialisation arbitraire ni qu'elle généralisera en présence de bruit.

Non-linéarités modernes

• ReLU est peu coûteuse et non saturante sur sa partie positive, mais des unités peuvent rester inactives. Elle demeure une référence utile, et non universellement obsolète.
• GELU et SiLU/Swish sont des fonctions lisses élément par élément courantes dans les Transformers modernes et certains ConvNets.
• GEGLU/SwiGLU utilisent deux branches projetées et modifient la largeur, les paramètres et les kernels ; ce ne sont pas de simples activations interchangeables.
• Sigmoid/Tanh restent utiles dans les portes et les états bornés malgré leur saturation à grande amplitude.

Voir Activations et réseaux feed-forward à portes. Des comparaisons équitables contrôlent le nombre de paramètres, les FLOPs, le budget d'entraînement et les kernels d'implémentation.

La capacité n'est pas l'apprenabilité

Le théorème de Cybenko établit que des sommes finies d’unités à activation sigmoïdale continue peuvent approcher uniformément toute fonction continue sur un cube compact, à toute tolérance d’erreur strictement positive. La largeur finie nécessaire dépend de la fonction et de la tolérance ; aucune largeur fixe ne suffit ainsi pour toutes les cibles. Le théorème ne garantit ni des données d’entraînement suffisantes, ni une représentation efficace, une optimisation réussie, des probabilités calibrées, une validité causale ou une généralisation hors distribution. « Approximateur universel » n'est pas un résultat de sélection de modèle.

Biais inductif et contre-exemples

Un MLP voit un vecteur plat. L'invariance par translation, l'ordre séquentiel, la structure de graphe et l'invariance par permutation n'apparaissent pas automatiquement. Les CNNs, les RNNs, l'attention et les réseaux de neurones sur graphes encodent des schémas de partage ou de calcul plus forts et peuvent modifier l'efficacité d'échantillonnage.

Inversement, sur des variables tabulaires stables avec peu de données, un modèle linéaire, un arbre ou un petit MLP peuvent surpasser une architecture à la mode. Comparez-les avec le même découpage et le même budget.

Critères minimaux d'acceptation

1. Validez par assertion les dimensions de batch, de variables et de sortie.
2. Surapprenez sur un échantillon minuscule pour vérifier que l'implémentation est capable d'apprendre.
3. Comparez aux modèles de référence constants, linéaires ou arborescents.
4. N'ajustez les prétraitements appris qu'à l'intérieur des plis d'entraînement.
5. Rapportez plusieurs graines aléatoires, les échecs et les ressources consommées — pas uniquement la meilleure exécution.
6. Testez les hypothèses de déploiement avec Évaluation sous dérive de distribution.

Cette note se concentre sur l'entraînement supervisé classique par gradient ; elle ne traite pas le MLP comme un modèle biologique et ne dresse pas un inventaire exhaustif de chaque activation et optimiseur.

Mes lectures · Les notes ouvertes sont mémorisées dans ce navigateur.