Variantes de l’attention et compression du cache KV
Comment MHA, GQA et MLA fixent la taille du cache KV, et quels réglages de longueur de contexte, de précision du cache et de cache de préfixe on peut ajuster en exécutant un modèle.
Comment MHA, GQA et MLA fixent la taille du cache KV, et quels réglages de longueur de contexte, de précision du cache et de cache de préfixe on peut ajuster en exécutant un modèle.