Un document tagué avec "sparse-attention"

Évolution de l'Attention et Compression du KV Cache

Du Multi-Head Attention (MHA) et Grouped-Query Attention (GQA) au Multi-Head Latent Attention (MLA) de DeepSeek et aux mécanismes SnapKV/PyramidKV.