3 documents tagués avec "transformers"

Distinguer ReLU, GELU, SiLU/Swish et les variantes GLU, puis sélectionner les non-linéarités via des expériences contrôlées sur réseaux modernes.

Distinguer les familles par leur contexte visible, objectif d’apprentissage et tête de sortie, pour comprendre les rôles des classifieurs BERT, des modèles génératifs et des modèles de conversion de séquences.

Distinguer l’encodeur–décodeur de 2017 des blocs courants en Pre-Norm, RMSNorm, RoPE, GQA et SwiGLU, ainsi que leurs coûts d’entraînement et d’inférence.