Statistiques et probabilités

Les probabilités partent d'un modèle pour raisonner sur les observations possibles. Les statistiques partent des observations pour remonter à un processus, un paramètre ou une décision.

Parcours durable

1. événements, dénombrement, probabilité conditionnelle et indépendance ;
2. variables aléatoires, distributions, espérance, variance et covariance ;
3. lois des grands nombres et théorème central limite ;
4. échantillonnage, estimateurs, incertitude et intervalles de confiance ;
5. tests d'hypothèses, tailles d'effet et erreurs de décision ;
6. conception d'expériences et planification de la taille d'échantillon.

Cette référence couvre les modèles probabilistes élémentaires et l'inférence par échantillonnage répété. Elle ne développe ni régression, ni inférence causale, ni procédure complète de test. Harvard Statistics 110 fournit le cours de probabilités plus détaillé.

Événements, conditionnement et indépendance

Un modèle probabiliste précise les issues possibles, les événements (ensembles d'issues) et leurs probabilités. Celles-ci sont non négatives, l'univers a une probabilité de 1, et les probabilités s'ajoutent pour des événements disjoints. Le rapport « cas favorables sur cas possibles » ne vaut que pour des issues élémentaires équiprobables.

La probabilité conditionnelle est $P(A\mid B)=P(A\cap B)/P(B)$ lorsque $P(B)>0$. Deux événements sont indépendants si $P(A\cap B)=P(A)P(B)$. Des événements disjoints de probabilités positives ne sont pas indépendants : observer l'un exclut l'autre. La mise à jour bayésienne passe des a priori et vraisemblances à l'a posteriori par conditionnement ; $P(A\mid B)$ et $P(B\mid A)$ diffèrent en général.

Variables aléatoires et distributions

Une variable aléatoire associe un nombre à chaque issue. Sa distribution décrit les probabilités de ces nombres. Pour une variable discrète, la somme des masses $p(x)$ vaut 1. Pour une variable continue de densité $f$, les probabilités sont des intégrales : $P(a\le X\le b)=\int_a^b f(x)\,dx$. Une densité n'est pas une probabilité ponctuelle : $P(X=x)=0$, et une densité peut dépasser 1.

Modèle	Sens et hypothèses	Moyenne et variance
Bernoulli$(p)$	Un indicateur : 1 pour le succès, 0 sinon, $0\le p\le1$	$p$ ; $p(1-p)$
Binomial$(n,p)$	Nombre de succès dans $n$ essais de Bernoulli indépendants de même probabilité $p$	$np$ ; $np(1-p)$
Normal$(\mu,\sigma^2)$	Modèle continu en cloche, $\sigma>0$	$\mu$ ; $\sigma^2$
Exponential$(\lambda)$	Temps d'attente non négatif à taux constant $\lambda>0$	$1/\lambda$ ; $1/\lambda^2$

Un modèle est une hypothèse à examiner, pas une étiquette justifiée par un histogramme seul. Tirer sans remise dans une petite population finie ne produit pas des essais de Bernoulli indépendants.

Espérance et variation

L'espérance est une moyenne pondérée par les probabilités : $E[X]=\sum_x xp(x)$ dans le cas discret, ou $\int x f(x)\,dx$ pour une densité, à condition que $E[|X|]$ soit finie. La variance vaut $\operatorname{Var}(X)=E[(X-E[X])^2]$ lorsque le second moment est fini. L'écart-type est sa racine carrée, dans les mêmes unités que $X$.

Pour un dé équilibré, $E[X]=3.5$ et $E[X^2]=91/6$, donc $\operatorname{Var}(X)=91/6-3.5^2=35/12$. L'espérance n'est pas forcément une issue possible. La linéarité donne $E[X+Y]=E[X]+E[Y]$ sans indépendance, tandis que

$$\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y).$$

La covariance est $E[(X-E[X])(Y-E[Y])]$. L'indépendance implique une covariance nulle si les seconds moments existent, mais la réciproque est fausse en général.

De l'échantillon à l'estimation

Pour des observations indépendantes et identiquement distribuées, de moyenne $\mu$ et de variance finie $\sigma^2$, la moyenne d'échantillon est sans biais : $E[\bar X]=\mu$. Sa variance vaut $\sigma^2/n$ et son erreur standard $\sigma/\sqrt n$. L'écart-type décrit les observations individuelles ; l'erreur standard décrit l'estimateur au fil des échantillons répétés.

Par exemple, 100 essais de Bernoulli indépendants avec $p=0.5$ donnent une erreur standard de proportion de $0.05$. Environ deux erreurs standards donnent une demi-largeur approximative de $0.10$ pour un intervalle normal à 95 %. Sous ses hypothèses, une procédure de confiance à 95 % couvre le paramètre vrai et fixe dans 95 % des répétitions ; elle ne lui attribue pas une probabilité a posteriori de 95 % d'appartenir à l'intervalle observé.

La loi des grands nombres explique la convergence des moyennes vers l'espérance ; le théorème central limite décrit la forme limite des fluctuations standardisées. Aucun n'élimine le biais d'échantillonnage. Davantage de réponses issues d'une sélection volontaire ou d'une population dont certains groupes sont systématiquement exclus peuvent rendre une estimation biaisée plus précise. Précisez la population cible et le mécanisme de sélection avant d'utiliser les formules de taille d'échantillon ; l'affectation aléatoire d'un traitement répond à une autre question que le tirage aléatoire d'un échantillon.

Construire un intervalle à partir des observations

Supposons des mesures indépendantes issues d’une même population normale, de moyenne et de variance inconnues. L’intervalle du NIST pour la moyenne utilise la moyenne observée $\bar x$ et l’écart-type d’échantillon $s$, dont la variance est calculée avec le dénominateur $n-1$ :

$$\bar x\pm t_{0.975,n-1}\frac{s}{\sqrt n}.$$

$t_{0.975,n-1}$ est le quantile à 97,5 % de Student avec $n-1$ degrés de liberté. Pour les observations illustratives [8, 9, 10, 11, 12], $\bar x=10$, $s^2=10/4=2.5$ et $s/\sqrt5\approx0.7071$. Avec $t_{0.975,4}\approx2.7764$, l’intervalle à 95 % est environ $[8.037,11.963]$. La normalité et l’indépendance justifient ici la couverture exacte ; cinq observations ne suffisent pas à établir ces hypothèses. Cet intervalle porte sur la moyenne de la population, pas sur 95 % des observations individuelles futures.

Bootstrap et comparaison appariée de modèles

Sans intervalle analytique utile, le bootstrap non paramétrique approche l’échantillonnage répété : tirer avec remise $n$ observations de l’échantillon disponible, puis recalculer la statistique, de nombreuses fois. L’intervalle percentile utilise les quantiles à 2,5 % et 97,5 % de ces statistiques. C’est une approximation, pas une garantie exacte ; asymétrie, biais, événements rares ou données dégénérées peuvent la rendre peu fiable. La documentation bootstrap de SciPy décrit les intervalles percentile, basic et corrigé du biais et accéléré (BCa).

Pour comparer deux modèles fixés sur les mêmes cas de test indépendants, calculez les différences de perte $d_i=\ell_A(i)-\ell_B(i)$. Si une perte faible est préférable, une différence moyenne positive favorise B. Rééchantillonnez les indices des cas en conservant chaque paire ; tirer A et B séparément détruit leur dépendance appariée. Un intervalle percentile de la différence moyenne contenant zéro ne démontre pas l’équivalence. Il faut aussi juger si l’ampleur de la différence compte pour la décision.

L’unité de rééchantillonnage doit respecter le plan d’échantillonnage. Des mesures répétées sur une personne exigent une inférence tenant compte des groupes ; des observations temporelles dépendantes peuvent nécessiter des blocs adaptés et des hypothèses de stabilité temporelle. Rééchantillonner des prédictions fixes mesure l’incertitude du test, pas celle d’un nouvel ajustement des modèles ou d’un changement futur de distribution. Plus de répétitions bootstrap réduit le bruit de simulation, pas le biais de l’échantillon initial. Ces distinctions s’appliquent à l’évaluation sous changement de distribution.

Mes lectures · Les notes ouvertes sont mémorisées dans ce navigateur.