Analyse discriminante linéaire et quadratique

L’analyse discriminante linéaire (LDA) et l’analyse discriminante quadratique (QDA) modélisent chaque classe par une loi gaussienne, puis combinent la densité conditionnelle à la classe avec son a priori $\pi_k$.

Pour la classe $k$,

$$p(x\mid y=k) = \mathcal{N}(x;\mu_k,\Sigma_k).$$

En ignorant les termes communs à toutes les classes, le score discriminant vaut

$$\delta_k(x) = -\frac{1}{2}\log|\Sigma_k| -\frac{1}{2}(x-\mu_k)^{\top}\Sigma_k^{-1}(x-\mu_k) +\log\pi_k.$$

La classe prédite est celle dont le score est le plus élevé.

Des données d’entraînement à la décision

La règle de Bayes donne la probabilité a posteriori :

$$p(y=k\mid x)=\frac{\pi_k p(x\mid y=k)}{\sum_j\pi_j p(x\mid y=j)} =\frac{e^{\delta_k(x)}}{\sum_j e^{\delta_j(x)}}.$$

Estimez chaque moyenne sur sa classe d’entraînement, et les a priori par $n_k/n$, sauf si des a priori justifiés pour la population cible sont disponibles. Une convention explicite de maximum de vraisemblance divise la somme des produits extérieurs centrés de chaque classe par $n_k$ pour estimer $\Sigma_k$ ; la LDA rassemble ces sommes et les divise par $n$. Les conventions sans biais utilisent plutôt $n_k-1$ ou $n-K$. Précisez la convention, car les implémentations peuvent différer de ce calcul.

Dans un exemple unidimensionnel, la classe 0 contient $(-1,1)$ et la classe 1 contient $(1,3)$. Les moyennes ajustées sont 0 et 2, la variance ML partagée vaut 1 et les a priori valent chacun $1/2$. Ainsi,

$$\delta_1(x)-\delta_0(x)=2x-2.$$

La frontière est $x=1$ ; à $x=1.5$, la probabilité a posteriori de la classe 1 vaut $1/(1+e^{-1})\approx0.731$. À moyennes et variance identiques, des a priori $\pi_1=0.1$, $\pi_0=0.9$ déplacent la frontière à $1+\frac12\log9\approx2.099$. Un a priori modifie donc réellement la décision.

Choisir le plus grand posterior minimise la perte zéro-un espérée sous le modèle ajusté. Des coûts d’erreur inégaux exigent plutôt de minimiser le coût espéré a posteriori. Ni l’ajustement gaussien ni cette règle ne garantissent l’adéquation à la distribution de déploiement.

LDA ou QDA

Modèle	Hypothèse de covariance	Frontière	Compromis principal
LDA	une matrice $\Sigma$ partagée	linéaire	moins de paramètres de covariance, hypothèse plus forte
QDA	une matrice $\Sigma_k$ par classe	quadratique	davantage de souplesse, mais beaucoup plus de données pour une estimation stable

Avec une covariance partagée, les termes quadratiques en $x$ s’annulent entre les scores des classes, ce qui donne une frontière linéaire. Des covariances propres à chaque classe conservent ces termes et produisent une frontière quadratique. Une covariance diagonale par classe correspond à une hypothèse d’indépendance conditionnelle du type bayésien naïf gaussien.

La covariance est la difficulté centrale

• En grande dimension ou avec peu d’exemples, les matrices de covariance empiriques peuvent être bruitées ou singulières.
• Le shrinkage échange un peu de biais contre des estimations plus stables ; il doit être choisi ou estimé délibérément.
• Sans régularisation et avec des covariances complètes, LDA/QDA est invariant à une transformation affine inversible commune des variables en arithmétique exacte. La mise à l’échelle affecte néanmoins le conditionnement et certaines régularisations ; le déséquilibre des classes modifie les a priori estimés.
• Des estimateurs en forme fermée ne dispensent pas de valider les choix de modélisation.

La densité affichée suppose des covariances définies positives. Avec $d$ variables, une covariance empirique de classe a un rang au plus égal à $\min(d,n_k-1)$ ; QDA exige donc au moins $d+1$ observations par classe pour qu’un rang plein soit même possible, sans garantie de stabilité. La covariance regroupée de LDA a un rang au plus égal à $\min(d,n-K)$. Retirez les dimensions redondantes ou utilisez une régularisation validée lorsque ces matrices sont singulières.

Projection supervisée

La LDA peut aussi projeter les données selon des directions qui séparent les moyennes des classes relativement à leur variation interne. Cette vision de réduction de dimension supervisée est liée à l’emploi de la LDA comme classifieur, sans lui être identique. Avec $K$ classes, au plus $K-1$ directions discriminantes portent une séparation interclasse.

Les hypothèses gaussiennes peuvent constituer des approximations utiles, mais les probabilités prédites doivent toujours être contrôlées pour leur calibration sur la distribution cible. Il vaut mieux comparer LDA et QDA à la régression logistique et à des baselines simples que choisir uniquement d’après la forme de la frontière.

Le guide LDA/QDA de scikit-learn présente les estimateurs de covariance et les détails d’implémentation actuels.

Mes lectures · Les notes ouvertes sont mémorisées dans ce navigateur.