Activations et réseaux feed-forward à portes
Distinguer ReLU, GELU, SiLU/Swish et les variantes GLU, puis sélectionner les non-linéarités via des expériences contrôlées sur réseaux modernes.
Distinguer ReLU, GELU, SiLU/Swish et les variantes GLU, puis sélectionner les non-linéarités via des expériences contrôlées sur réseaux modernes.
Distinguer les familles par leur contexte visible, objectif d’apprentissage et tête de sortie, pour comprendre les rôles des classifieurs BERT, des modèles génératifs et des modèles de conversion de séquences.
Lecture section par section de Vaswani et al. (2017) – le problème du parallélisme et des dépendances lointaines, l’attention par produit scalaire mis à l’échelle et multi-têtes, l’encodage positionnel, l’entraînement et les résultats des tableaux 1 à 4.
Distinguer l’encodeur–décodeur de 2017 des blocs courants en Pre-Norm, RMSNorm, RoPE, GQA et SwiGLU, ainsi que leurs coûts d’entraînement et d’inférence.