Théorème central limite

Le théorème central limite est un principe statistique fondamental qui décrit le comportement de la moyenne d’un grand nombre de variables aléatoires indépendantes et identiquement distribuées.

Définition

Soient $X_1,X_2,\ldots$ des variables aléatoires indépendantes et identiquement distribuées, de moyenne finie $\mu$ et de variance finie non nulle $\sigma^2$. Le TCL classique affirme que la moyenne d’échantillon standardisée converge en loi vers une variable normale centrée réduite :

$$\frac{\sqrt{n}(\bar X_n-\mu)}{\sigma}\xrightarrow{d}N(0,1).$$

Pour un $n$ fini grand, on utilise souvent l’approximation :

$$\bar{X}_n \approx N\left(\mu, \frac{\sigma^2}{n}\right).$$

avec :

• $\bar{X}_n$ : moyenne des $n$ observations de l’échantillon ;
• $\mu$ : moyenne de la population ;
• $\sigma^2$ : variance de la population ;
• $n$ : taille de l’échantillon.

Voir l’image en grand

La population suit une loi Beta(2, 5). L’histogramme rassemble des moyennes de 15 observations indépendantes ; la courbe orange est une approximation normale. Comparez cette forme plus étroite et plus symétrique à la distribution initiale. L’exemple Python ci-dessous reprend l’expérience avec une loi exponentielle.

Seeing Theory, Brown University, Central Limit Theorem; screenshot of the interactive plot, adapted from Philipp Plewa’s visualization. · Apache 2.0

Dans l’expérience interactive, fixez α et β, comparez Sample size = 1 et 15, puis augmentez Draws et cliquez sur Sample. La taille de chaque échantillon modifie la loi de sa moyenne ; les répétitions stabilisent l’histogramme. Pour une taille supérieure à 1, Theoretical affiche l’approximation normale.

Importance

• Normalisation : sous les hypothèses indiquées, la distribution de la moyenne devient approximativement normale pour un échantillon assez grand ; la taille nécessaire dépend de la population.
• Prédictibilité : il permet d’inférer les moyennes de population à partir de moyennes d’échantillon.
• Réduction d’erreur : lorsque la taille augmente, l’erreur standard (SE) diminue et les estimations gagnent en précision.

Applications

• Sondages et enquêtes : estimation de paramètres de population, tels que les intentions de vote ou préférences de consommation, à partir d’échantillons.
• Contrôle qualité : suivi de procédés de fabrication où le poids, le volume et d’autres paramètres sont mesurés et contrôlés.
• Finance : estimation des rendements moyens d’instruments financiers afin d’optimiser les portefeuilles.

Limites

• Petits échantillons : le TCL peut mal s’appliquer, surtout si la population est très asymétrique.
• Observations dépendantes : le théorème suppose l’indépendance des échantillons ; sans elle, il peut ne pas s’appliquer.

Exemple de code Python

Pour illustrer le TCL, le code suivant simule la distribution de la moyenne d’échantillon :

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(42)
sample_size = 30
num_samples = 5000

# Exponential data are strongly right-skewed, not normally distributed.
sample_means = [rng.exponential(scale=1, size=sample_size).mean()
                for _ in range(num_samples)]

# Plot distribution of sample means
plt.hist(sample_means, bins=30, color='blue', edgecolor='black', alpha=0.7)
plt.title('Distribution of Sample Means')
plt.xlabel('Sample Mean')
plt.ylabel('Frequency')
plt.show()

Cet exemple part d’une population exponentielle asymétrique. L’histogramme des moyennes répétées devient bien plus en cloche que la distribution source, ce qui illustre l’approximation du TCL.

Pourquoi une échelle en racine de n ?

L'indépendance rend la variance d'une somme égale à la somme des variances. Diviser cette somme par $n$ donne $\operatorname{Var}(\bar X_n)=n\sigma^2/n^2=\sigma^2/n$. La moyenne fluctue donc à l'échelle $\sigma/\sqrt n$. Cette identité de variance est exacte sous les hypothèses ; la normalité est la partie asymptotique du théorème. La référence de probabilités distingue écart-type et erreur standard.

Pour la population exponentielle du code, $\mu=\sigma=1$. Avec $n=30$, l'erreur standard de la moyenne est $1/\sqrt{30}\approx0.183$. Avec $n=100$, elle vaut 0.1, d'où l'approximation normale $P(0.804\le\bar X_{100}\le1.196)\approx0.95$. Ce sont des bornes pour des moyennes répétées autour d'une moyenne de population connue, pas un intervalle de confiance calculé sur un jeu de données observé. Quadrupler $n$ divise l'erreur standard par deux, pas par quatre.

Quand un grand échantillon ne suffit pas

Il n'existe pas de règle universelle « $n=30$ suffit ». Des événements rares ou une forte asymétrie peuvent demander bien davantage pour estimer correctement des probabilités de queue. Une population de Cauchy standard n'a ni moyenne ni variance, et la moyenne de ses observations indépendantes reste de Cauchy standard : elle ne se concentre pas et ne devient pas normale. Voir la démonstration de Siegrist sur la distribution de la moyenne d’un échantillon de Cauchy. Si toutes les observations égalent la même variable $Y$, alors $\bar X_n=Y$ pour tout $n$ ; la dépendance empêche le gain habituel.

La loi des grands nombres décrit la concentration autour de la moyenne ; le TCL décrit la forme après centrage et changement d'échelle. Les observations elles-mêmes ne deviennent pas normales. Remplacer un $\sigma$ inconnu par l'écart-type empirique ajoute de l'incertitude : un intervalle exact de Student exige des observations normales indépendantes, tandis que l'inférence studentisée asymptotique demande un raisonnement supplémentaire à grand échantillon. Ni l’un ni l’autre de ces théorèmes ne corrige un échantillonnage biaisé ni ne prouve la normalité du risque financier extrême.

Référence et liens utiles

• Central Limit Theorem (CLT): Definition and Key Characteristics

Mes lectures · Les notes ouvertes sont mémorisées dans ce navigateur.