Lire « Attention Is All You Need » : l’article original du Transformer
Lecture section par section de Vaswani et al. (2017) – le problème du parallélisme et des dépendances lointaines, l’attention par produit scalaire mis à l’échelle et multi-têtes, l’encodage positionnel, l’entraînement et les résultats des tableaux 1 à 4.
Mécanisme d'attention
Comprendre l'adressage par le contenu, Q/K/V, les masques, les variantes multi-têtes, les implémentations efficaces et les limites d'interprétation à travers un exemple numérique.
Transformers : architecture originale et blocs modernes
Distinguer l’encodeur–décodeur de 2017 des blocs courants en Pre-Norm, RMSNorm, RoPE, GQA et SwiGLU, ainsi que leurs coûts d’entraînement et d’inférence.
Variantes de l’attention et compression du cache KV
Comment MHA, GQA et MLA fixent la taille du cache KV, et quels réglages de longueur de contexte, de précision du cache et de cache de préfixe on peut ajuster en exécutant un modèle.