Décodage spéculatif : propositions, vérification et gains réels de vitesse
Comprendre la correction des probabilités et les coûts, comparer chaînes, arbres et auto-spéculation, puis relier la cohérence du KV aux gains mesurés.
2 documents tagués avec "kv-cache"
Voir tous les tagsVariantes de l’attention et compression du cache KV
Comment MHA, GQA, MLA, la quantification du cache et les méthodes de sélection de jetons arbitrent entre mémoire, complexité d’implémentation et risque sur la qualité.