Un document tagué avec "kv-cache"

Évolution de l'Attention et Compression du KV Cache

Du Multi-Head Attention (MHA) et Grouped-Query Attention (GQA) au Multi-Head Latent Attention (MLA) de DeepSeek et aux mécanismes SnapKV/PyramidKV.