13 documents tagués avec "deep-learning"

Distinguer ReLU, GELU, SiLU/Swish et les variantes GLU, puis sélectionner les non-linéarités via des expériences contrôlées sur réseaux modernes.

Suivre un prompt à travers un grand modèle de langage, puis voir comment le post-entraînement et LoRA façonnent son comportement. les sorties ?

Distinguer les familles par leur contexte visible, objectif d’apprentissage et tête de sortie, pour comprendre les rôles des classifieurs BERT, des modèles génératifs et des modèles de conversion de séquences.

Passer des distributions du prochain token à une réponse complète : paramètres d’échantillonnage, effort, tokens de raisonnement, raisons d’arrêt et sortie structurée.

Lecture section par section de Vaswani et al. (2017) – le problème du parallélisme et des dépendances lointaines, l’attention par produit scalaire mis à l’échelle et multi-têtes, l’encodage positionnel, l’entraînement et les résultats des tableaux 1 à 4.

Comprendre l'adressage par le contenu, Q/K/V, les masques, les variantes multi-têtes, les implémentations efficaces et les limites d'interprétation à travers un exemple numérique.

Suivre un token dans le routage MoE pour distinguer paramètres totaux, paramètres actifs, mémoire, vitesse, équilibrage et communication.

Distinguer recherche image–texte et questions visuelles pour comprendre patches, facturation des tokens visuels, connecteurs, pertes d’information et évaluation.

Comprendre la capacité du MLP, la rétropropagation, les échecs d'optimisation et le biais inductif à travers les dimensions tensorielles et une construction du XOR.

Biais inductif de la convolution, canaux, padding, pas, pooling et différence entre équivariance et invariance aux translations.

Comprendre la compression d'état récurrent, la rétropropagation à travers le temps, les portes LSTM et la frontière avec les modèles d'espace d'états séquentiels modernes.

Suivre le texte jusqu’aux identifiants, plongements et états contextuels, en distinguant découpage, position, remplissage et vecteurs de recherche.

Distinguer l’encodeur–décodeur de 2017 des blocs courants en Pre-Norm, RMSNorm, RoPE, GQA et SwiGLU, ainsi que leurs coûts d’entraînement et d’inférence.