Modèles linéaires

Un modèle est linéaire lorsque sa prédiction est linéaire par rapport aux coefficients appris, même si l’entrée est d’abord transformée en caractéristiques de base non linéaires :

$$f(x)=\mathbf{w}^{\top}\phi(x)+b.$$

Par exemple, $b+w_1x+w_2x^2$ est linéaire en ses coefficients, bien qu’il décrive une parabole en $x$. En régression logistique, c’est le score $z=w^\top x+b$, et non la probabilité $1/(1+e^{-z})$, qui est linéaire. « Classifieur linéaire » désigne généralement la frontière de décision dans l’espace de variables choisi. La QDA liée ci-dessous sert de comparaison ; ce n’est pas un classifieur linéaire.

Le choix d’un membre de cette famille repose sur quatre questions :

Question	Choix courant
La cible est-elle numérique ?	moindres carrés, perte robuste, régression quantile ou modèle linéaire généralisé approprié
La cible est-elle catégorielle ?	régression logistique ou softmax, ou modèle discriminant avec distributions de classes explicites
Les coefficients sont-ils instables ou surajustés ?	Ridge ($\ell_2$), Lasso ($\ell_1$) ou Elastic Net (les deux)
La relation est-elle non linéaire dans les variables brutes ?	définir des fonctions de base ou des interactions tout en conservant des coefficients linéaires

Parcours sur le site

• Moindres carrés ordinaires et régularisation couvre les moindres carrés ordinaires, Ridge, Lasso et Elastic Net.
• Analyse discriminante linéaire et quadratique compare les classificateurs génératifs gaussiens.
• Régression linéaire présente le même prédicteur comme un modèle neuronal peu profond.
• Régression softmax développe la classification linéaire multiclasse.

Les paramètres de régularisation et les transformations de variables doivent être sélectionnés dans le cadre du processus d’entraînement et de validation. Les coefficients ne sont pas automatiquement causaux ou stables, ni directement comparables lorsque les variables utilisent des échelles différentes.

Consultez le guide des modèles linéaires de scikit-learn pour les détails d’implémentation maintenus ; cette page fournit la carte de sélection conceptuelle.

Mes lectures · Les notes ouvertes sont mémorisées dans ce navigateur.