Fondements de l’IA et des données

Comment un modèle apprend-il de ses erreurs ? Commencez par un exemple que vous pouvez modifier et observer ; les notations viendront ensuite.

Commencer par essayer

• Ajuster une droite à deux points : modifiez la pente et l’ordonnée à l’origine, puis faites un pas de gradient. Comparez la dérivée NumPy avec la différenciation automatique JAX.
• Désactiver la non-linéarité d’une couche cachée : essayez les quatre entrées XOR pour voir pourquoi empiler des transformations linéaires ne suffit pas.
• Suivre un calcul d’attention : voyez les scores devenir des poids, puis une combinaison de valeurs. Il s’agit d’un exemple calculé, pas d’une démonstration interactive.

Bien ajuster les points d’entraînement n’est qu’un début : les découpages et fuites de données expliquent pourquoi une faible erreur d’entraînement ne suffit pas.

Contenu de cette étagère et sujets encore manquants

Cette branche rassemble des notes concises au format cours sur l’apprentissage automatique, les architectures neuronales, les modèles génératifs et le travail sur les données. C’est une étagère de référence en construction, non un programme complet ou neutre sur l’IA.

Branches actuelles

Branche	Force actuelle	Lacune connue
Apprentissage automatique	vocabulaire de l’apprentissage supervisé et modèles classiques	inférence causale, incertitude, calibration, théorie de la décision, couverture du non supervisé/RL
Apprentissage profond	courtes cartes d’architectures, des MLP aux transformeurs et à la diffusion	systèmes d’entraînement, passage à l’échelle, alignement, robustesse, multimodalité et détails d’évaluation moderne
Science des données	structure des jeux de données, découpage, fuite, provenance et évaluation sous dérive	confidentialité, gouvernance, représentativité, opérations d’annotation et qualité des données en production

Les runtimes d’agents, MCP, compétences, outils et harnesses relèvent des Systèmes d’IA. Les choix actuels de modèles/API relèvent du Radar Frontier daté.

Pertinence pour les LLM, pas nouveau critère de validité

Contenu	Pertinence actuelle pour les LLM
probabilités, algèbre linéaire, optimisation, pertes	restent fondamentales ; l’échelle ne supprime pas leurs hypothèses
MLP et activations modernes	directement pertinents : les FFN de transformeurs emploient couramment GELU/SwiGLU plutôt que le seul ReLU scolaire
CNN et RNN classiques	comparaisons et alternatives de déploiement utiles, mais pas le cœur habituel des LLM textuels
attention et transformeurs	directement pertinents, y compris RoPE, GQA, RMSNorm, cache KV et noyaux efficaces
notes sur VAE et diffusion	fondements génératifs connexes, pas une explication suffisante des LLM textuels
fuite et évaluation	essentiels : contamination et réemploi des benchmarks empirent, plutôt que de perdre en importance, à grande échelle

Cette étagère manque encore de fondements ciblés sur la tokenisation/les embeddings, les données et objectifs de préentraînement, le passage à l’échelle, le post-entraînement par instructions/préférences, l’évaluation de génération ouverte et les systèmes d’inférence. N’inférez pas ces sujets à partir des anciennes pages d’architecture ; utilisez les notes maintenues sur les Systèmes d’IA et Frontier jusqu’à ce que des fondements dédiés existent.

Lire les notes historiques

La plupart des pages enfants sont des aides d’apprentissage concises tirées d’un petit nombre de manuels ou de références. Leurs formules et définitions peuvent être utiles, mais leur brièveté masque hypothèses et écoles concurrentes. La branche présente plusieurs biais :

• biais en faveur des manuels et des architectures, au détriment du déploiement et du contexte sociotechnique ;
• biais en faveur de l’apprentissage supervisé, au détriment des méthodes causales, non supervisées et de décision séquentielle ;
• biais vers l’anglais et les jeux de données de benchmark ;
• exemples de données propres, au détriment de la dérive, des fuites, des boucles de rétroaction et des défaillances opérationnelles ;
• séquence historique présentée comme une progression lisse plutôt que comme des choix de conception contestés.

N’en déduisez pas l’état actuel de l’art.

Un premier parcours de lecture

Pour la prédiction supervisée sur données tabulaires, commencez par les concepts généraux : entrées, cibles, paramètres et distinction entre perte et métrique. Travaillez ensuite les moindres carrés ordinaires, dont l’ajustement de trois points. Lisez les notes sur le découpage et l’évaluation avant d’assimiler une faible erreur à une prédiction utile. Ce parcours suppose des bases en vecteurs, dérivées et probabilités conditionnelles ; la carte des mathématiques ci-dessous fournit les prérequis.

Pour chaque modèle, posez des questions concrètes :

1. Que prédit-on, avec quelles informations et à quel instant ?
2. Quel objectif minimise-t-on, et pourquoi obtient-on cette solution ?
3. Peut-on calculer ou exécuter un petit exemple, y compris un cas d’échec ?
4. Quelles hypothèses soutiennent la prédiction, les probabilités ou l’inférence statistique ?
5. Que donne une référence simple sur les mêmes cas réservés ?
6. Quelles conclusions résistent à un changement de population, et quels détails d’implémentation exigent une documentation datée ?

Il n’est pas nécessaire de maîtriser une méthode avant de consulter sa note. Retrouvez d’abord la définition ou la formule utile, puis suivez la dérivation et les hypothèses lors de l’application. Preuves et biais dans les notes sur l’IA aide à distinguer un résultat mathématique, une comparaison empirique et une extrapolation non étayée.

Réseau de soutien

• Mathématiques : probabilités, calcul, algèbre linéaire et optimisation.
• Informatique : algorithmes, structures de données et systèmes.
• Outils et flux de travail : environnements, notebooks, contrôle de version et reproductibilité.

Mes lectures · Les notes ouvertes sont mémorisées dans ce navigateur.