Exécuter en local

Demandez-vous d’abord s’il faut exécuter en local : des données qui ne doivent pas quitter votre machine et un usage hors ligne sont les raisons les plus solides. On avance aussi souvent les nombreux petits appels, mais les petits niveaux hébergés sont déjà bon marché ; faites d’abord le calcul avec le radar des modèles et API. Une fois la décision prise, vérifiez dans l’ordre si le modèle tient en mémoire, lequel choisir, quel runtime, quels réglages et quelle vitesse ; la croissance du cache KV avec le contexte est traitée dans le groupe Comment fonctionnent les LLM, avec Variantes de l’attention et compression du cache KV.

Ordre de lecture

Étape	Article	Ce que vous faites
1	Déployer sur un appareil : poids, mémoire et contexte	Est-ce que ça tient : budgéter la mémoire d’un appareil pour les poids, le contexte et la marge.
2	Modèles locaux pour agents de code	Quel modèle : partir des faits des fiches de modèle pour lister les modèles de code à essayer en local.
3	Runtimes d’inférence locale	Quel runtime : choisir un moteur selon le format du modèle, le matériel, la latence, le débit et la sécurité.
4	Quantification des modèles : précision numérique, taille et vitesse	Quels réglages : comment les nombres à faible précision approchent les poids, et ce que la quantification des poids, des activations et du cache KV fait gagner.
5	Performance d’inférence : chargement, premier token, décodage et débit	Quelle vitesse : découper une requête en chargement, préremplissage et décodage, et mesurer le délai du premier token et le débit.
6	Décodage spéculatif : propositions, vérification et gains réels de vitesse	Un peu plus vite : un petit modèle propose, le grand vérifie, et quand cela accélère vraiment.

Mes lectures