3 documents tagués avec "attention"

Comprendre l'adressage par le contenu, Q/K/V, les masques, les variantes multi-têtes, les implémentations efficaces et les limites d'interprétation à travers un exemple numérique.

Distinguer l’encodeur–décodeur de 2017 des blocs courants en Pre-Norm, RMSNorm, RoPE, GQA et SwiGLU, ainsi que leurs coûts d’entraînement et d’inférence.

Comment MHA, GQA, MLA, la quantification du cache et les méthodes de sélection de jetons arbitrent entre mémoire, complexité d’implémentation et risque sur la qualité.