Algèbre linéaire

L'algèbre linéaire étudie les espaces et les transformations qui préservent l'addition et la multiplication par un scalaire. Un parcours durable suit cet ordre :

1. vecteurs, sous-espaces engendrés, indépendance, bases et dimension ;
2. applications linéaires et représentations matricielles ;
3. systèmes d'équations, élimination, rang et noyaux ;
4. produits scalaires, orthogonalité, projections et moindres carrés ;
5. déterminants, valeurs propres et vecteurs propres ;
6. décomposition en valeurs singulières et approximation de faible rang ;
7. applications à l'optimisation, l'analyse de données et l'apprentissage automatique.

La référence ci-dessous se limite aux vecteurs réels de dimension finie, aux systèmes linéaires et aux moindres carrés. Elle suppose l'algèbre élémentaire ; MIT OpenCourseWare 18.06SC développe les preuves et les factorisations du parcours ci-dessus.

Vecteurs, bases et dimensions des matrices

Un vecteur de $\mathbb R^n$ possède $n$ coordonnées réelles dans une base choisie. Le sous-espace engendré par des vecteurs contient toutes leurs combinaisons linéaires. Ils sont linéairement indépendants si seule une combinaison dont tous les coefficients sont nuls donne le vecteur nul. Une base est une famille libre et génératrice ; son cardinal est la dimension. Par exemple, $(1,0)$ et $(0,1)$ forment une base de $\mathbb R^2$, tandis que $(1,2)$ et $(2,4)$ n'engendrent qu'une droite.

Une application linéaire vérifie $T(au+bv)=aT(u)+bT(v)$. Avec des vecteurs colonnes, $A\in\mathbb R^{m\times n}$ envoie $x\in\mathbb R^n$ sur $Ax\in\mathbb R^m$. Ses colonnes sont les images des vecteurs de la base d'entrée : $Ax$ est donc une somme pondérée de colonnes. Si $B\in\mathbb R^{n\times k}$, alors $AB\in\mathbb R^{m\times k}$ applique d'abord $B$, puis $A$ ; $BA$ peut ne pas être défini. Ajouter un biais non nul donne une application affine $Ax+b$, et non linéaire.

Observez les vecteurs de base et la grille se déplacer ensemble dans la leçon de 3Blue1Brown sur les transformations linéaires. Les images des vecteurs de base se lisent comme les colonnes de la matrice, conformément à la convention utilisée ici.

Quand un système admet-il une solution ?

L’espace des colonnes de $A$ est l’espace engendré par ses colonnes : il contient tous les vecteurs qui peuvent s’écrire $Ax$. Le rang de $A$ est la dimension de cet espace. Son noyau, noté $\ker A$, contient les vecteurs $z$ tels que $Az=0$ ; $\dim$ désigne la dimension. Pour une matrice à $n$ colonnes, le théorème du rang donne $\dim\ker A=n-\operatorname{rank}(A)$. Dans les critères ci-dessous, $[A\mid b]$ désigne la matrice obtenue en ajoutant $b$ comme dernière colonne.

• $Ax=b$ admet une solution exactement lorsque $b$ appartient à l'espace des colonnes, soit $\operatorname{rank}(A)=\operatorname{rank}([A\mid b])$.
• Si $x_0$ est une solution, toutes les solutions sont $x_0+z$, avec $z\in\ker A$.
• Un système compatible a une solution unique exactement lorsque ses colonnes sont indépendantes. Une matrice carrée est inversible exactement lorsque son rang vaut $n$ ; un déterminant non nul est le critère équivalent pour une matrice carrée.

Par exemple, $x_1+2x_2=3$ et $2x_1+4x_2=6$ décrivent la même droite. Le rang vaut 1 et toutes les solutions sont $(3-2t,t)$. Remplacer le second membre de la deuxième équation par 7 rend le système incompatible. Compter les équations ne suffit donc pas à établir l'existence ou l'unicité.

Orthogonalité et moindres carrés

Le produit scalaire est $u^Tv=\sum_i u_iv_i$ ; deux vecteurs sont orthogonaux si ce produit est nul. La norme euclidienne vaut $\|u\|_2=\sqrt{u^Tu}$. Lorsqu'un ajustement exact est impossible, les moindres carrés minimisent $\|Ax-b\|_2^2$. Au minimum, le résidu $r=b-Ax$ est orthogonal à chaque colonne, d'où les équations normales $A^TAx=A^Tb$.

Ajustons une constante $c$ aux observations 1 et 3 : $A=(1,1)^T$ et $b=(1,3)^T$. L'équation normale est $2c=4$, donc $c=2$ ; le résidu $(-1,1)^T$ est orthogonal à $(1,1)^T$. Le vecteur ajusté est la projection orthogonale de $b$ sur l'espace des colonnes. Cette projection est unique, mais les coefficients ne le sont que si $A$ est de rang colonne plein. Alors $A^TA$ est inversible ; en calcul numérique, on préfère néanmoins résoudre avec QR ou SVD plutôt que former explicitement une inverse.

Voir l’image en grand

Abaissez la perpendiculaire depuis l’extrémité de v : son pied est le point le plus proche sur la droite. Le segment restant représente le résidu. C’est la géométrie des moindres carrés ; le dessin utilise la direction (2, 1), et l’exemple précédent la direction (1, 1).

Zhang et al., Dive into Deep Learning, Figure 22.1.5. · CC BY-SA 4.0

Ce qu'apportent les factorisations

Pour une matrice carrée, $Av=\lambda v$ avec $v\ne0$ repère un vecteur multiplié par un scalaire (éventuellement nul). Une matrice réelle n'a pas nécessairement de valeurs propres réelles ni assez de vecteurs propres pour former une base. En revanche, toute matrice réelle $m\times n$ admet une décomposition en valeurs singulières $A=U\Sigma V^T$, avec $U,V$ orthogonales et des valeurs singulières non négatives dans la matrice rectangulaire $\Sigma$. Le nombre de valeurs singulières non nulles est le rang. Garder les plus grandes donne une approximation optimale de faible rang pour la norme de Frobenius ; des valeurs très petites par rapport à la plus grande signalent qu'une résolution peut amplifier les perturbations. C'est un lien avec l'analyse numérique.

Mes lectures · Les notes ouvertes sont mémorisées dans ce navigateur.