2 documents tagués avec "attention"

Comprendre Q/K/V, masks, multi-head, implémentations efficaces et limites d’interprétation par un exemple numérique.

Distinguer l’encoder–decoder de 2017 des blocs Pre-Norm, RMSNorm, RoPE, GQA et SwiGLU, avec leurs coûts d’entraînement et d’inférence.