Réseaux de neurones récurrents

Un RNN réutilise des paramètres tout en transmettant un état à travers le temps :

$$\mathbf{h}_t=\phi(W_{xh}\mathbf{x}_t+W_{hh}\mathbf{h}_{t-1}+\mathbf{b}_h), \qquad \mathbf{o}_t=W_{ho}\mathbf{h}_t+\mathbf{b}_o.$$

L'état de dimension finie est un résumé appris pour l'objectif visé, et non une archive sans perte. Cette compression permet le traitement au fil de l'eau (streaming) tout en perdant des détails à longue portée.

Voir l’image en grand

Lisez horizontalement pour suivre l’état dans le temps, puis verticalement pour relier entrée et sortie. Les blocs réutilisent les mêmes paramètres ; ce ne sont pas des réseaux entraînés séparément. Les sorties ultérieures peuvent ainsi dépendre des entrées précédentes par ce chemin d’état.

Zhang et al., Dive into Deep Learning, recurrent neural network illustration. · CC BY-SA 4.0

Objectifs séquentiels

Forme	Sortie	Exemple	Limite
many-to-one	état final ou agrégé	classification de séquences	l'information initiale peut-elle survivre ?
many-to-many aligné	chaque pas de temps	étiquetage, prévision	les masques et le remplissage (padding) comptent
autorégressif	token/valeur suivant(e)	langue, séries temporelles	les entrées d'entraînement et de génération diffèrent
encodeur–décodeur	séquence conditionnelle	traduction	un contexte unique peut limiter l’information transmise depuis l’historique

La modélisation autorégressive factorise

$$p(x_{1:T})=\prod_{t=1}^{T}p(x_t\mid x_{<t}).$$

Le forçage de l'enseignant (teacher forcing) fournit le préfixe réel lors de l'entraînement ; la génération libre réutilise les sorties antérieures du modèle, y compris leurs erreurs. Une faible perte sous teacher forcing ne garantit donc pas un déroulement (rollout) stable. Cet écart est souvent appelé biais d’exposition (exposure bias). Les remèdes dépendent de la tâche ; prolonger l’entraînement ne suffit pas à l’éliminer.

Pourquoi la rétropropagation à travers le temps échoue

Le chemin reliant l'instant $t$ à l'instant $k$ fait intervenir un produit de jacobiens :

$$\frac{\partial\mathbf{h}_t}{\partial\mathbf{h}_k} =\prod_{j=k+1}^{t}\operatorname{diag}(\phi'(\mathbf{z}_j))W_{hh}.$$

Des contractions répétées provoquent la disparition du gradient ; des expansions provoquent son explosion. La longueur des séquences, le spectre des poids, la saturation des activations et les trajectoires rencontrées dans les données jouent tous un rôle. Dire que les RNN sont anciens n’explique pas ce mécanisme.

• L’écrêtage du gradient (gradient clipping) limite les grandes mises à jour, sans restaurer les gradients disparus.
• La BPTT tronquée réduit la mémoire et le calcul, mais coupe l’attribution du crédit à longue distance.
• Une initialisation adaptée, la normalisation et les portes peuvent améliorer l’entraînement, sans garantir une mémoire infinie.

Pour préciser l’ordre, posons $J_j=\operatorname{diag}(\phi'(z_j))W_{hh}$. Le produit est $J_tJ_{t-1}\cdots J_{k+1}$ ; on ne peut généralement pas inverser les facteurs matriciels. Les mêmes paramètres récurrents servent à chaque étape : leur gradient additionne toutes les contributions, y compris les chemins indirects par les états ultérieurs. C’est le mécanisme de dérivation en chaîne derrière les difficultés de gradient de la BPTT.

Pour la récurrence de lissage ci-dessous, avec $\alpha=1/2$, $h_0=0$ et les entrées $[2,0,4]$, les états sont $[1,0.5,2.25]$. La sensibilité à $h_0$ après trois étapes vaut $\alpha^3=1/8$. Détacher l’état après la deuxième étape conserve sa valeur $0.5$ pour la passe avant suivante, mais coupe le gradient vers le segment antérieur. Détacher n’est pas réinitialiser. Avec du padding et une sortie consommant l’état final, masquer seulement la perte ne suffit pas : ignorer les mises à jour sur les positions de padding ou sélectionner le dernier état valide.

Mécanisme de portes du LSTM

Un réseau à mémoire à long et court terme (LSTM) maintient un état de cellule $\mathbf c_t$ en plus de l’état caché $\mathbf h_t$. La porte d’oubli $\mathbf f_t$ pondère l’ancien état de cellule, la porte d’entrée $\mathbf i_t$ pondère la mise à jour candidate $\tilde{\mathbf c}_t$, et la porte de sortie $\mathbf o_t$ contrôle la contribution de la cellule à $\mathbf h_t$. Ici, $\sigma$ désigne la sigmoïde, $\odot$ le produit élément par élément, et $[\mathbf h_{t-1},\mathbf x_t]$ la concaténation des deux vecteurs. Dans ces équations, $\mathbf o_t$ est la porte de sortie, et non le vecteur de scores de l’équation RNN initiale. Une forme courante est :

$$\mathbf{f}_t=\sigma(W_f[\mathbf{h}_{t-1},\mathbf{x}_t]+\mathbf{b}_f), \quad \mathbf{i}_t=\sigma(W_i[\mathbf{h}_{t-1},\mathbf{x}_t]+\mathbf{b}_i),$$ $$\tilde{\mathbf{c}}_t=\tanh(W_c[\mathbf{h}_{t-1},\mathbf{x}_t]+\mathbf{b}_c), \quad \mathbf{c}_t=\mathbf{f}_t\odot\mathbf{c}_{t-1}+\mathbf{i}_t\odot\tilde{\mathbf{c}}_t,$$ $$\mathbf{o}_t=\sigma(W_o[\mathbf{h}_{t-1},\mathbf{x}_t]+\mathbf{b}_o), \quad \mathbf{h}_t=\mathbf{o}_t\odot\tanh(\mathbf{c}_t).$$

Le chemin additif de la cellule améliore l'écoulement de l'information et des gradients. Les portes sont des mécanismes de contrôle continus appris, et non des commutateurs de mémoire automatiquement interprétables ; les implémentations varient au niveau des biais, des projections, des connexions peephole et de l'ordre des portes.

Exemple appliqué : lissage en streaming

Considérons la récurrence scalaire

$$h_t=\alpha h_{t-1}+(1-\alpha)x_t, \qquad 0<\alpha<1.$$

On obtient une moyenne mobile exponentielle. Chaque mise à jour utilise une mémoire constante. La nouvelle observation reçoit le poids $1-\alpha$ ; une observation vieille de $m$ pas reçoit $(1-\alpha)\alpha^m$.

Cet exemple montre les deux faces de la récurrence : le RNN peut se mettre à jour en ligne sans conserver toute la séquence, mais l’information ancienne décroît selon une règle fixe et ne peut pas être relue à la demande. Un RNN entraîné est plus souple, tout en restant limité par son état de dimension finie et le signal d’entraînement. L’attention change ce compromis en conservant plusieurs positions représentées et en les consultant selon leur contenu.

Frontières d'état et de données

• Les RNN causaux ne voient que le présent et le passé, ce qui permet la prédiction en streaming.
• Les RNN bidirectionnels utilisent aussi le contexte futur ; ils ne conviennent pas aux décisions en ligne où ce contexte est indisponible.
• Masquez le padding dans les lots ; la longueur révélée par le padding ne doit pas divulguer l’étiquette.
• Réinitialisez l’état caché entre entités indépendantes, sauf si sa transmission a un sens explicite.
• Découper aléatoirement des fenêtres temporelles peut placer des segments voisins ou chevauchants dans l’entraînement et le test.

Le dernier point relève d’une fuite de données, pas des performances de l’architecture. Définissez les découpages par entité et par temps.

Modèles séquentiels modernes à base d'états

Les RNNs classiques ne constituent pas le point final de la modélisation à base d'états. Les modèles d’espace d’états structurés (SSM) partent d’équations d’état linéaires en temps continu ou discret et utilisent des paramètres structurés et des algorithmes parallèles pour combiner l'entraînement sur de longues séquences avec une inférence récurrente. S4 a montré les capacités des SSM structurés sur de longues séquences ; Mamba a rendu certaines parties de la mise à jour dépendantes de l'entrée et a introduit un balayage (scan) adapté au matériel ; xLSTM a revisité la mémoire récurrente et les portes.

Ces noms désignent des architectures distinctes :

• La transition d’état non linéaire d’un RNN classique diffère des équations structurées d’un SSM.
• La croissance linéaire avec la longueur annoncée pour Mamba décrit un chemin algorithmique ; elle ne garantit pas un temps d’exécution inférieur à celui de l’attention pour toute longueur, taille de lot ou machine.
• xLSTM poursuit la voie des réseaux récurrents à portes ; cela ne signifie pas que les LSTM surpassent universellement les Transformers.
• Les benchmarks des articles restent liés aux données, à l’échelle, aux kernels et au budget d’entraînement. Il faut reproduire ces résultats sur la tâche cible.

Au 2026-08-11, S4, Mamba et xLSTM sont d’importantes architectures concurrentes, pas un nouveau choix permanent par défaut.

RNN, SSM et auto-attention complète

Dimension	RNN classique / certains SSMs	Auto-attention complète
chemin d'entraînement	sériel pour les RNN ; les SSM structurés peuvent utiliser des scans ou convolutions parallèles	positions parallèles au sein d'une couche
état à l'inférence	taille fixe ou contrôlée	le cache KV croît généralement avec le contexte
accès à l'historique	état compressé	accès direct aux positions représentées
coût à longue portée	dynamique et sélection d'état	scores généralement quadratiques en fonction de la longueur
contre-exemple utile	capteurs en streaming, faible mémoire, longues séquences	entraînement parallèle à grande échelle et recherche souple par contenu

Affirmer que les Transformers ont rendu les RNN inutiles ou que les SSM à coût linéaire en longueur de séquence remplaceront nécessairement l’attention est excessif. Le choix dépend de la latence, de la mémoire, de la longueur des séquences, de l’échelle d’entraînement, des kernels et de la structure de la tâche.

Expérimentation minimale

1. Faites surapprendre le modèle sur une séquence courte pour vérifier l’implémentation.
2. Vérifiez que modifier le padding masqué ne change pas les sorties.
3. Mélangez volontairement les frontières d’état et vérifiez que les tests détectent la contamination.
4. Présentez séparément la perte sous teacher forcing et les résultats en génération libre.
5. Découpez par temps et par entité ; comparez à des références sans état, saisonnières ou à moyenne mobile.
6. Notez les normes de gradient, la longueur de troncature, la dimension cachée, les kernels et les graines ayant échoué.

Cette note privilégie les séquences discrètes supervisées. Les systèmes en temps continu, l'ensemble des variantes de SSM, l'apprentissage par renforcement et le feedback en ligne nécessitent un traitement distinct.

Dans Visualizing memorization in RNNs de Distill, sélectionner les caractères des exemples d’autocomplétion et examiner leurs liens avec le contexte précédent. Comparer GRU et LSTM pour voir comment des scores globaux proches masquent des usages différents du contexte. Ces liens sont des diagnostics par gradient sur ces exemples, pas un classement universel des architectures.

Mes lectures · Les notes ouvertes sont mémorisées dans ce navigateur.