Vérifier comment activer le décodage spéculatif dans un runtime local, puis comprendre par la correction des probabilités et des exemples de coûts quand il accélère vraiment, et comparer chaînes, arbres et auto-spéculation.
Suivre un token dans le routage MoE pour distinguer paramètres totaux, paramètres actifs, mémoire, vitesse, équilibrage et communication.
Décomposer les requêtes en étapes mesurables et relier concurrence, cache et traitement par lots au temps d’attente.
Choisir un runtime local selon le format du modèle, le matériel (Apple Silicon compris), les réglages de contexte et la sécurité.