Apprentissage automatique et entraînement

L’apprentissage modifie des paramètres à partir de données ou d’interactions. Identifier entrée, cible, perte et partition d’évaluation, puis demander quelles hypothèses permettent de généraliser à un nouvel exemple.

La régression linéaire présente modèle et mises à jour par gradient ; les moindres carrés développent solution fermée, hypothèses statistiques et régularisation. Classification et entraînement conduisent à l’adaptation. Les arbres, le regroupement et l’apprentissage par renforcement présentent des alternatives à l’ajustement d’un réseau neuronal sur des étiquettes fixes.

Ordre de lecture

Étape	Article	Question traitée
1	Concepts généraux de l’apprentissage automatique	Un vocabulaire concis pour les modèles, les pertes, le risque empirique, la vraisemblance, la régularisation, l’optimisation et la généralisation.
2	Régression linéaire : modèle et descente de gradient	Construire un prédicteur linéaire, calculer les résidus et suivre ses mises à jour par gradient ; estimation fermée et inférence statistique sont traitées séparément.
3	Moindres carrés ordinaires et régularisation	L’estimation par moindres carrés et les pénalités Ridge, Lasso et Elastic Net utilisées pour maîtriser les coefficients instables ou trop complexes.
4	Régression softmax	Classification linéaire multiclasse avec logits, probabilités softmax, entropie croisée et limites claires par rapport aux tâches multilabel.
5	Analyse discriminante linéaire et quadratique	Des classifieurs génératifs gaussiens dont les hypothèses de covariance partagée ou propre à chaque classe produisent des frontières linéaires ou quadratiques.
6	Entraîner un modèle : gradients, optimiseurs et taux d’apprentissage	Suivre une mise à jour des paramètres, puis la relier aux mini-lots, à l’état de l’optimiseur, à la validation et aux points de contrôle reproductibles.
7	Préentraînement, ajustement supervisé et optimisation des préférences	Comprendre comment les cibles d’entraînement façonnent les représentations, le suivi des instructions et les comportements préférés, sans confondre préférence et vérité.
8	Apprentissage par transfert, LoRA et distillation	Choisir encodeur figé, ajustement complet, adaptation de faible rang ou élève compact pour une tâche définie.
9	Arbres de décision, forêts aléatoires et gradient boosting	Dériver une séparation d’arbre et une mise à jour de boosting, puis comparer leurs biais inductifs, leurs besoins de validation et leurs limites.
10	Regroupement et réduction de dimension	Distinguer découverte de groupes et compression des représentations avec des exemples détaillés de k-means et d’ACP.
11	Apprentissage par renforcement : récompenses, valeur et décisions séquentielles	Distinguer récompense immédiate, valeur à long terme, exploration et politique apprise avec un exemple à deux états.

Mettre la lecture en pratique

Relier prédiction, perte et mise à jour dans un petit exemple. Séparer partition et évaluation de l’optimisation : une perte d’entraînement décroissante ne suffit pas à établir une généralisation utile.

Revenir aux parcours IA pour choisir un thème voisin.

Mes lectures · Les notes ouvertes sont mémorisées dans ce navigateur.