Un document tagué avec "local-inference"

Comprendre l’approximation à faible précision, distinguer poids, activations et cache KV, puis estimer le coût réel du déploiement.